Kajian melaporkan 'RAG runtuh' apabila model bahasa mendapatkan semula tulisan mereka sendiri

Apa yang berlaku

Pengarang melaporkan bahawa sistem model bahasa yang ditambah semula boleh menjadi tidak stabil apabila hasil carian termasuk kandungan yang dijana sebelum ini oleh model yang sama. Merentasi tiga jenis simulasi, tiga keluarga model dan 1,019 gesaan mencari maklumat, 1,216 daripada 1,528 simulasi dilaporkan berakhir dengan keruntuhan.

Sumbernya ialah kertas arXiv yang diserahkan pada 22 Ogos 2026, bertajuk "RAG Collapse: LLM Responses Collapse When Retrieved Documents Are Self-Authored." Tuntutan utamanya ialah sistem model bahasa mungkin merosot apabila alat pengambilan mengembalikan rujukan yang dijana oleh sistem yang sama itu. Pengarang membezakan ini daripada latihan rekursif pada output model: di sini, gelung maklum balas diperkenalkan semasa mendapatkan maklumat, apabila dokumen yang dijana tersedia sebagai rujukan untuk respons kemudian. Kertas itu memanggil corak yang terhasil "RAG runtuh."

Penulis mengatakan mereka menguji tiga jenis simulasi yang melibatkan sistem AI mendapatkan semula rujukan yang telah mereka hasilkan. Abstrak yang dibekalkan mengenal pasti tiga keluarga model, 1,019 gesaan mencari maklumat, 1,528 simulasi dan lebih daripada satu juta panggilan API model bahasa. Ia melaporkan bahawa 1,216 simulasi, atau 79.6%, berakhir dengan keruntuhan. Sumber tidak menamakan keluarga model, menerangkan gesaan secara terperinci, menentukan konfigurasi pengambilan atau memberikan ujian operasi yang digunakan untuk memutuskan bahawa simulasi telah runtuh.

Kertas itu juga melaporkan bahawa satu rujukan yang dikarang sendiri mungkin cukup untuk mencetuskan kesannya. Menurut pengarang, model bahasa secara tidak seimbang memetik kandungan mereka sendiri, dan berat sebelah diri ini kekal selepas penyelidik mengawal kualiti rujukan. Perbezaan itu penting: mekanisme yang dilaporkan bukan semata-mata kerana dokumen yang lemah mencemarkan set pengambilan. Sumber itu sebaliknya mengemukakan kepengarangan sendiri sebagai faktor bebas dalam cara rujukan yang diambil dipilih atau digunakan.

Penemuan ini kekal sebagai tuntutan daripada penyerahan arXiv dan bukannya fakta yang ditubuhkan secara bebas dalam bahan yang dibekalkan. Sumber mengenal pasti karya itu sebagai kertas 36 halaman dengan 31 angka dan empat jadual, tetapi teks yang disediakan hanya mengandungi maklumat abstrak dan bibliografi. Ia tidak melaporkan semakan rakan sebaya, replikasi luar, ujian sistem langsung atau hasil percubaan penuh. Cap masa yang boleh dilihat meletakkan penyerahan dalam tetingkap 96 jam semasa, tetapi sumber tidak memberikan kemas kini kemudian melebihi penyerahan awal.

Butiran sumber: arxiv.org ↗

Mengapa ia penting

Hasilnya mengenal pasti masalah maklum balas yang berpotensi untuk sistem yang menggunakan carian atau pengambilan dokumen untuk jawapan tanah. Ia mencadangkan bahawa bahan yang dijana model mungkin menerima pengaruh yang tidak seimbang walaupun ia tidak lebih baik daripada rujukan lain, walaupun sumber yang dibekalkan tidak menentukan kekerapan ini berlaku dalam sistem yang digunakan.

Penjanaan dipertingkatkan semula bertujuan untuk menyambungkan model bahasa kepada rujukan luaran dan bukannya hanya bergantung pada maklumat yang disimpan dalam parameternya. Jika bahan yang diambil semakin banyak terdiri daripada teks yang dijana model, sistem boleh memasukkan frasa, peninggalan atau ralatnya sendiri kembali ke dalam jawapan kemudian. Oleh itu, hasil laporan kertas itu melibatkan risiko kebolehpercayaan langsung untuk sistem AI yang mencari, meringkaskan atau menggunakan semula koleksi dokumen.

Bias diri yang dilaporkan amat relevan kerana ia boleh berterusan walaupun rujukan lain mempunyai kualiti yang setanding atau lebih tinggi. Jika disahkan di luar simulasi kertas kerja, ini akan merumitkan andaian biasa bahawa menambah lebih banyak bahan yang diambil secara automatik meningkatkan pembumian. Sistem perolehan semula mungkin perlu menjejaki asal dan merawat dokumen yang dikarang model secara berbeza daripada sumber yang dihasilkan secara bebas, dan bukannya menilai dokumen hanya dengan kaitan atau kualiti yang jelas.

Implikasi praktikal berpotensi luas tetapi tidak boleh diperbesarkan. Sumber itu tidak menunjukkan bahawa enjin carian yang digunakan, pangkalan pengetahuan perusahaan atau pembantu pengguna sedang mengalami keruntuhan. Ia juga tidak menetapkan bahawa semua dokumen yang dijana model tidak boleh dipercayai, sistem pengambilan semula secara rutin memihak kepada kandungan yang dikarang sendiri, atau bahawa kadar yang dilaporkan digunakan di luar simulasi yang diuji. Kertas itu memberikan amaran tentang kemungkinan mekanisme maklum balas, bukan anggaran terukur kelazimannya dalam ekosistem AI yang lebih luas.

Hasilnya juga mendedahkan masalah tadbir urus dan pengukuran. Apabila bahan yang dijana AI memasuki persekitaran maklumat, sistem kemudiannya mungkin mengalami kesukaran membezakan bukti asal daripada teks terbitan. Sumber yang dibekalkan tidak mencadangkan penyelesaian lengkap, tetapi penemuannya menjadikan asal, kebebasan sumber dan pengesanan kandungan berulang isu praktikal untuk pembangun dan institusi yang menggunakan AI berasaskan pengambilan semula. Implikasi tersebut mengikut bersyarat daripada dakwaan pengarang dan memerlukan ujian terhadap saluran paip perolehan sebenar sebelum ia boleh menyokong kesimpulan operasi yang luas.

Apa yang perlu ditonton seterusnya

Soalan susulan utama ialah cara kertas mentakrifkan keruntuhan, sama ada hasilnya mereplikasi merentas model dan sistem perolehan dunia sebenar, dan perlindungan yang mengurangkan kesannya. Sumber tidak memberikan butiran tersebut, dan juga tidak melaporkan campur tangan, kajian penggunaan atau replikasi luaran.

Isu pertama yang perlu diteliti ialah takrifan "runtuh" ​​kertas itu. Abstrak menggunakan istilah tersebut dan menghubungkannya dengan kerja terdahulu mengenai latihan model rekursif, di mana output menjadi kurang pelbagai dan akhirnya berhenti menyerupai data asal. Tetapi sumber yang dibekalkan tidak menyatakan sama ada eksperimen baharu mengukur kepelbagaian, ketepatan fakta, pertindihan sumber, gelagat petikan, persamaan jawapan atau hasil lain. Kriteria kertas penuh akan menentukan cara terus hasil memetakan kepada kegagalan kebolehpercayaan yang boleh dilihat oleh pengguna.

Replikasi adalah ujian penting seterusnya. Pengarang melaporkan tiga keluarga model dan tiga jenis simulasi, tetapi sumber tidak mengenal pasti mereka atau menerangkan bagaimana mereka mewakili sistem tambahan perolehan semula semasa. Penyelidik bebas perlu menguji saiz model yang berbeza, algoritma perolehan semula, campuran dokumen, strategi dorongan dan perkadaran bahan yang dijana AI. Mereka juga perlu mengasingkan kesan yang disebabkan oleh pengarang sendiri daripada ralat perolehan semula biasa, dokumen pendua atau rujukan berkualiti rendah.

Kelaziman dunia sebenar adalah satu lagi yang tidak diketahui. Makalah itu melaporkan 79.6% simulasi yang berakhir dengan keruntuhan, tetapi angka itu bukan anggaran populasi untuk carian internet, pangkalan data perusahaan atau mana-mana sistem yang digunakan. Sumber itu tidak menyatakan kekerapan dokumen model sendiri muncul dalam hasil perolehan semula yang berkaitan, tempoh masa gelung maklum balas atau sama ada bahan yang diedit oleh manusia dan disahkan secara bebas mengganggunya. Pengukuran tersebut diperlukan sebelum menterjemahkan hasil simulasi kepada ramalan kesan awam.

Akhir sekali, kerja susulan harus menguji perlindungan. Perbandingan yang berguna akan termasuk label asal, pengecualian dokumen yang dijana oleh model atau sistem yang sama, keperluan kepelbagaian sumber, kedudukan bebas dan semakan manusia untuk kegunaan berkepentingan tinggi. Sumber yang dibekalkan tidak melaporkan percubaan mitigasi dan tidak membuat tuntutan ketersediaan atau produk. Sehingga ujian sedemikian diterbitkan, pembangun dan pengguna harus menganggap kertas itu sebagai bukti mod kegagalan yang berpotensi penting, sambil menyedari bahawa keterukan dan remedinya masih tidak dapat diselesaikan.

Panduan & kuiz berkaitan