Model yang tampak tahu—lalu menyimpang
Prancis dijawab Paris. China dijawab Beijing. Norwegia dijawab Oslo. Jepang menghasilkan Tokyo. Lalu Kanada dijawab Toronto, Australia dijawab Brisbane, dan Papua Nugini dijawab Jayapura.
Label benar atau salah pada visual hanya menilai kota utama yang disebut. Respons Norwegia dan Jepang memuat teks sekitar yang rusak; Thailand memuat Bangkok di tengah keluaran yang rusak. Karena itu, empat kota utama yang benar tidak berarti empat respons sepenuhnya bersih. Semua contoh ini adalah observasi eksplorasi one-shot, bukan pengukuran konsistensi lintas negara.
Mengapa pengetahuan yang tampak tersedia dapat keluar dengan tepat untuk satu negara, tetapi gagal pada negara lain?
Jawaban benar bukan sesuatu yang ajaib
Secara umum, model tidak memerlukan satu baris tanya-jawab yang identik untuk mempelajari relasi ini. Pemeriksaan snapshot dalam artikel ini tidak membuktikan bahwa baris identik itu absen dari seluruh data.
Paris, Beijing, Oslo, dan Tokyo memperlihatkan bahwa kota utama yang benar dapat muncul. Keempatnya tetap ilustrasi one-shot, bukan pengukuran konsistensi lintas negara; pada Oslo dan Tokyo, teks di sekitar kota juga tidak sepenuhnya bersih.
- 01Paparan fakta di pretraining
Negara dan ibu kota hadir dalam artikel, berita, tabel, atau uraian lain.
- 02Pembelajaran relasi
Model perlu membedakan relasi ibu kota dari sekadar kedekatan dua entitas.
- 03SFT membentuk cara menjawab
Pola instruksi membantu mengubah kandidat faktual menjadi respons langsung.
- 04Prompt mengaktifkan kandidat
Pertanyaan perlu membawa kota yang relevan ke konteks generasi.
- 05Decoding mempertahankan kota benar
Kandidat yang tepat harus bertahan sampai token jawaban dikeluarkan.
Jalur sukses membutuhkan kelima tahap itu selaras. Kota yang benar sekali belum membuktikan recall stabil, tetapi menunjukkan bahwa jawaban faktual dapat lolos dari paparan hingga decoding.
Pola kalimat bisa benar ketika faktanya salah
Pola apa ibu kota [negara]? → ibu kota [negara] adalah [kota] dapat digeneralisasi sebagai kerangka bahasa, sementara ketepatan kota tetap bergantung pada relasi faktual yang direcall.
- Bentuk tugas dan kerangka jawabanPretraining dan SFT dapat membantu model mengenali pertanyaan serta bentuk respons.
- Binding negara dari promptSlot negara perlu mempertahankan entitas yang ditanyakan, bukan negara dari contoh sebelumnya.
- Binding kota dari recall faktaSlot kota harus diisi oleh relasi negara–ibu kota yang berhasil diaktifkan.
Kerangka dan binding fakta sama-sama tepat, meski teks sekitar tidak sepenuhnya bersih.
Kerangka bahasa berhasil, tetapi slot fakta salah.
Model gagal mengikuti transformasi pola dari contoh menuju negara yang ditanyakan.
Model mengenali bentuk teks, tetapi gagal melakukan pemilihan.
Generalisasi pola lintas negara tidak membuktikan adanya satu baris QA verbatim untuk setiap negara. Pola ini tidak diklaim berasal dari SFT saja; pretraining dan SFT sama-sama dapat membentuk perilaku tersebut.
Mengenal kota tidak sama dengan memahami relasinya
Model dapat mengenal Kanada, Toronto, dan Ottawa. Toronto kuat diasosiasikan dengan Kanada sebagai kota besar, pusat bisnis, dan ibu kota Ontario. Pertanyaan ibu kota negara menuntut relasi yang lebih presisi daripada kedekatan entitas.
Asosiasi umum yang kuat mungkin mengalahkan relasi administratif yang benar. Eksperimen ini mengamati keluaran; ia tidak melihat aktivasi internal model secara langsung.
Kanada menguji batas jalur sukses
Sebagai counterexample terkontrol, Kanada menunjukkan apa yang terjadi ketika fakta yang tersedia tidak melewati seluruh jalur dengan benar. Prompt apa ibu kota kanada? dijalankan 30 kali dalam mode Balanced. Memory dimatikan dan chat dibersihkan sebelum setiap trial. Semua keluaran memberikan klaim yang sama:
Output TOBA“ibu kota kanada adalah toronto, ontario.”
Bukti terkontrol dalam artikel ini lebih kuat untuk sisi kegagalan Kanada: 150 keluaran menunjukkan pola berulang. Sisi keberhasilan masih bertumpu pada observasi eksplorasi one-shot dan penjelasan mekanistik, bukan pengukuran konsistensi lintas negara.
Few-shot 30 kali hanya mengulang pertanyaan contoh tentang Prancis. Pada pilihan ganda, model menyalin kembali A, B, dan C tanpa menetapkan jawaban; kemunculan kata Ottawa tidak dihitung benar. Follow-up koreksi justru mengonfirmasi jawaban sebelumnya tanpa memberi kota final.
Setiap kondisi hanya menghasilkan satu respons unik dari 30 trial meskipun UI memperlihatkan do_sample=true. Fixed seed, cache, decoding efektif deterministik, distribusi token yang sangat tajam, atau parameter UI yang tidak diterapkan sama-sama masih mungkin.
Konteks yang lebih ketat membalikkan cerita
Pemindaian read-only mencakup 3.237.571 baris SFT dan 2.003.181 dokumen pretraining. Pada ko-occurrence umum, Kanada memang lebih sering muncul bersama Toronto.
| Snapshot | Kanada + Toronto | Kanada + Ottawa |
|---|---|---|
| SFT | 301 baris | 144 baris |
| Pretraining | 3.886 dokumen | 1.553 dokumen |
Ketika filter dipersempit menjadi capital-near—negara dan kota berada dalam span gabungan maksimal 320 karakter serta di antaranya terdapat penanda ibu kota, ibukota, atau capital—Ottawa justru unggul.
| Snapshot | Capital-near Ottawa | Capital-near Toronto |
|---|---|---|
| SFT | 21 | 10 |
| Pretraining | 53 | 26 |
capital-near menunjukkan konteks relasi yang lebih ketat.Baris SFT 2663325 menyatakan Toronto sebagai ibu kota Ontario dan Ottawa sebagai ibu kota negara Kanada. Baris yang benar ini masuk dalam hitungan Kanada–Toronto sekaligus Kanada–Ottawa.
Ko-occurrence substring bukan bukti bahwa dataset menyatakan fakta yang salah atau bahwa asosiasi tersebut menyebabkan keluaran model.
Dua jalur berangkat dari komponen yang sama
Jawaban benar dan salah sama-sama melewati paparan data, pembelajaran relasi, bentuk jawaban dari SFT, aktivasi oleh prompt, dan decoding. Perbedaannya terletak pada kandidat mana yang menguat dan apakah kota faktual bertahan sampai keluaran.
Di jalur benar, paparan faktual mendukung relasi yang cukup presisi, SFT memberi bentuk jawaban, prompt mengaktifkan kandidat yang tepat, dan decoding mempertahankannya. Di jalur salah, asosiasi pesaing dapat lebih dominan, relasi dapat kurang presisi, prompt dapat mengaktifkan kandidat keliru, atau decoding dapat mempertahankan kandidat yang salah.
Pengetahuan, recall, dan decoding bukan hal yang sama
TOBA dapat menjawab benar ketika paparan faktual membentuk relasi yang cukup presisi, SFT membentuk cara menjawab, prompt mengaktifkan kandidat yang tepat, dan decoding mempertahankan kota tersebut. TOBA dapat menjawab salah ketika asosiasi pesaing mengalahkan relasi faktual, kandidat yang keliru terangkat, atau decoding meneruskannya menjadi jawaban final.
Paris, Beijing, Oslo, dan Tokyo menggambarkan kemungkinan jalur pertama tanpa mengukur kestabilannya. Kanada membuktikan jalur kedua secara lebih kuat pada setup yang diuji: “ada di dataset” tidak sama dengan “pasti dapat dijawab”, dan satu jawaban benar belum sama dengan recall yang konsisten.
Sumber dan provenance
- Fakta rujukan: Pemerintah Kanada menyatakan Ottawa sebagai ibu kota Kanada.
- Eksperimen: 120 trial utama dan 30 follow-up koreksi; raw response, anotasi semantik, hash, parameter, serta bukti dataset disimpan dalam evidence bundle penelitian.
- Contoh lintas negara adalah observasi eksplorasi one-shot, bukan estimasi akurasi atau konsistensi.