SelanjutnyaPanduan berikutnya
Tanggal Batas Pengetahuan di LLM
Bahasa AI
PANDUAN AI Bahasa
Pembalikan Kutukan di LLM
Kutukan pembalikan adalah mode kegagalan yang mengejutkan ketika model bahasa yang mempelajari 'A adalah B' tidak dapat menjawab 'B adalah A' dengan andal. Hal ini mengungkapkan bahwa LLM menyimpan fakta sebagai asosiasi satu arah, bukan sebagai pengetahuan simetris.
Dengarkan panduan iniDiceritakan oleh AI · ~2 min
Di halaman ini2 menit membaca
Menyelam Lebih Dalam
Didokumentasikan dalam makalah tahun 2023 oleh Berglund dan rekannya, kutukan pembalikan menunjukkan bahwa jika seorang model dilatih pada 'ibu Tom Cruise adalah Mary Lee Pfeiffer,' sering kali gagal ketika ditanya 'Siapa putra Mary Lee Pfeiffer?' meskipun jawabannya secara logis sama. Efeknya tetap ada di berbagai ukuran model dan bahkan setelah ratusan fakta serupa disesuaikan. Ini bukan kesenjangan memori: model telah melihat informasi, tetapi hanya dalam satu urutan. Karena pelatihan mengoptimalkan prediksi token berikutnya atas urutan kata yang tepat dalam data, tautan statistik dari A ke B tidak secara otomatis membuat tautan dari B kembali ke A. Temuan ini menantang asumsi bahwa skala saja menghasilkan penalaran yang fleksibel dan mirip manusia atas fakta.
Implementasi Dunia Nyata
Chatbot menyebutkan nama orang tua selebriti dengan benar, namun gagal saat diminta menyebutkan nama anak terkenal dari orang tua tersebut.
Seorang model mengucapkan 'presiden kesembilan adalah William Henry Harrison' namun tersandung pada 'presiden nomor berapa adalah William Henry Harrison.'
Asisten pengkodean yang mempelajari pemetaan fungsi-ke-deskripsi tidak dapat memulihkan nama fungsi hanya dari deskripsi.
Sistem QA medis yang dilatih tentang 'Obat X menangani Kondisi Y' gagal mencantumkan Obat X ketika ditanya apa yang menangani Kondisi Y.
Masa Depan Kutukan Pembalikan di LLM
Mitigasi yang diteliti mencakup augmentasi data dua arah (menambahkan frasa terbalik), tujuan pelatihan yang memprediksi token di kedua arah, dan sistem pengambilan yang mencari fakta secara simetris daripada mengandalkan bobot yang diingat. Beberapa arsitektur baru dan eksperimen pra-pelatihan terbalik mengurangi kesenjangan tersebut. Harapkan kutukan tersebut akan menyusut tetapi tidak hilang, karena hal ini memperlihatkan ketidaksesuaian yang mendalam antara pembelajaran token berikutnya dan struktur simetris dari hubungan dunia nyata.
Mempraktikkannya
Mengapa itu penting
- Kecepatan dan skala. Alur kerja bahasa dapat berjalan lebih cepat tanpa mengorbankan konsistensi.
- Akses dan jangkauan. Ini memperluas akses lintas bahasa dan gaya komunikasi.
- Keputusan yang lebih jelas. Tim dapat menghabiskan lebih banyak waktu untuk melakukan penilaian sementara otomatisasi menangani pengulangan.
Hati-hati
- Fakta-fakta yang dihalusinasi dapat secara diam-diam masuk ke dalam laporan, aliran dukungan, atau keluaran penelitian.
- Sensitivitas yang cepat dapat menimbulkan hasil yang tidak konsisten pada permintaan serupa.
- Data teks sensitif mungkin terekspos jika kontrol akses lemah.
Langkah selanjutnya
- Tentukan format output, nada, dan standar kualitas sebelum peluncuran.
- Dasarkan respons dengan sumber tepercaya kapan pun akurasi penting.
- Pertahankan pos pemeriksaan tinjauan manusia untuk keluaran berisiko tinggi.
- Lacak pola kegagalan dan latih kembali perintah atau alur kerja secara teratur.
Terus Menjelajah
Buletin gratis
Dapatkan pengarahan AI harian
Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.
Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.
Uji diri Anda sendiri
Take the Reversal Curse in LLMs quiz
Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.
Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan
Pertanyaan yang sering diajukan
What is Reversal Curse in LLMs?
Kutukan pembalikan adalah mode kegagalan yang mengejutkan ketika model bahasa yang mempelajari 'A adalah B' tidak dapat menjawab 'B adalah A' dengan andal. Hal ini mengungkapkan bahwa LLM menyimpan fakta sebagai asosiasi satu arah, bukan sebagai pengetahuan simetris.
A model learned “A is B” but fails to answer “B is A.” What is this called?
The paper names this directional failure the reversal curse.
What does the reversal curse show about directional associations?
The paper reports that forward and reverse statements can behave differently.
Is the reversal curse simply a failure because the model never saw the fact?
The research tests failure on a reverse query after forward exposure.
Why might next-token training contribute to the effect?
The paper discusses sequence direction as relevant to the failure.
What does failure on a reverse query imply about model knowledge?
The finding challenges assumptions about flexible use of stored facts.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini