SeterusnyaPanduan seterusnya
Tarikh Potongan Pengetahuan dalam LLM
AI bahasa
PANDUAN AI Bahasa
Sumpahan Pembalikan dalam LLM
Sumpahan pembalikan ialah mod kegagalan yang mengejutkan di mana model bahasa yang mempelajari 'A ialah B' tidak boleh menjawab dengan pasti 'B ialah A.' Ia mendedahkan bahawa LLM menyimpan fakta sebagai persatuan satu arah, bukan sebagai pengetahuan simetri.
Dengar panduan iniAI-diceritakan · ~2 min
Pada halaman ini2 min dibaca
Menyelam dalam
Didokumentasikan dalam kertas kerja 2023 oleh Berglund dan rakan sekerja, sumpahan pembalikan menunjukkan bahawa jika seorang model dilatih tentang 'Ibu Tom Cruise ialah Mary Lee Pfeiffer,' ia sering gagal apabila ditanya 'Siapakah anak Mary Lee Pfeiffer?' walaupun jawapannya sama secara logiknya. Kesannya berterusan merentasi saiz model dan walaupun selepas penalaan halus pada ratusan fakta sedemikian. Ia bukan jurang ingatan: model telah melihat maklumat, tetapi hanya dalam satu susunan. Oleh kerana latihan mengoptimumkan ramalan token seterusnya ke atas susunan perkataan yang tepat dalam data, pautan statistik dari A ke B tidak secara automatik membuat pautan dari B kembali ke A. Penemuan itu mencabar andaian bahawa skala sahaja menghasilkan penaakulan yang fleksibel seperti manusia terhadap fakta.
Pelaksanaan Dunia Sebenar
Chatbot dengan betul menyatakan ibu bapa selebriti tetapi gagal apabila diminta menamakan anak terkenal ibu bapa tersebut.
Seorang model membacakan 'presiden kesembilan ialah William Henry Harrison' namun tersandung pada 'presiden nombor mana ialah William Henry Harrison.'
Pembantu pengekodan yang mempelajari pemetaan fungsi ke perihalan tidak boleh memulihkan nama fungsi daripada perihalan sahaja.
Sistem QA perubatan yang dilatih tentang 'Ubat X merawat Keadaan Y' gagal menyenaraikan Ubat X apabila ditanya apa yang merawat Keadaan Y.
Masa Depan Sumpahan Pembalikan dalam LLM
Mitigasi yang dikaji termasuk penambahan data dwiarah (menambah frasa terbalik), objektif latihan yang meramalkan token dalam kedua-dua arah dan sistem perolehan semula yang melihat fakta secara simetri dan bukannya bergantung pada pemberat yang dihafal. Beberapa seni bina yang lebih baharu dan eksperimen pralatihan terbalik mengurangkan jurang. Jangkakan sumpahan itu akan mengecut tetapi tidak lenyap, kerana ia mendedahkan ketidakpadanan yang mendalam antara pembelajaran seterusnya dan struktur simetri hubungan dunia sebenar.
Mempraktikkannya
Mengapa ia penting
- Kelajuan dan skala. Aliran kerja bahasa boleh bergerak lebih pantas tanpa mengorbankan konsistensi.
- Akses dan capai. Ia meluaskan akses merentas bahasa dan gaya komunikasi.
- Keputusan yang lebih jelas. Pasukan boleh menghabiskan lebih banyak masa untuk membuat pertimbangan manakala automasi mengendalikan pengulangan.
Berhati-hati untuk
- Fakta halusinasi boleh memasukkan laporan, aliran sokongan atau hasil penyelidikan secara senyap-senyap.
- Sensitiviti segera boleh mencipta hasil yang tidak konsisten merentas permintaan yang serupa.
- Data teks sensitif mungkin terdedah jika kawalan akses lemah.
Langkah seterusnya
- Tentukan format output, nada dan standard kualiti sebelum pelancaran.
- Respons asas dengan sumber yang dipercayai apabila ketepatan penting.
- Simpan pusat pemeriksaan semakan manusia untuk output berkepentingan tinggi.
- Jejaki corak kegagalan dan latih semula gesaan atau aliran kerja dengan kerap.
Teruskan Meneroka
Newsletter percuma
Dapatkan taklimat AI harian
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Take the Reversal Curse in LLMs quiz
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Soalan lazim
What is Reversal Curse in LLMs?
Sumpahan pembalikan ialah mod kegagalan yang mengejutkan di mana model bahasa yang mempelajari 'A ialah B' tidak boleh menjawab dengan pasti 'B ialah A.' Ia mendedahkan bahawa LLM menyimpan fakta sebagai persatuan satu arah, bukan sebagai pengetahuan simetri.
A model learned “A is B” but fails to answer “B is A.” What is this called?
The paper names this directional failure the reversal curse.
What does the reversal curse show about directional associations?
The paper reports that forward and reverse statements can behave differently.
Is the reversal curse simply a failure because the model never saw the fact?
The research tests failure on a reverse query after forward exposure.
Why might next-token training contribute to the effect?
The paper discusses sequence direction as relevant to the failure.
What does failure on a reverse query imply about model knowledge?
The finding challenges assumptions about flexible use of stored facts.
Teruskan belajar
Panduan berkaitan
Lebih banyak panduan dipilih untuk topik ini