Apa yang berlaku
Pracetak arXiv baharu mencadangkan menganggap halusinasi sebagai rentang yang terbentang merentasi jujukan, bukannya sebagai ralat peringkat terpencil. Kaedah ini menggabungkan 33 ciri daripada teks yang dijana, entailment inferens bahasa semula jadi dan kejutan model bahasa, kemudian memprosesnya dengan model jujukan. Makalah itu melaporkan bahawa GRU dwiarah mencapai AUC 0.840 pada RAGTruth merentas 10 biji, peningkatan 11 mata berbanding garis dasar regresi logistik bebas.
Sumbernya ialah rekod arXiv untuk "Gabungan Berbilang Isyarat Tempoh untuk Pengesanan Halusinasi Tahap ," yang dikarang oleh Igor Itkin dan diserahkan pada 30 Jun 2026. Premis utama kertas kerja itu ialah halusinasi selalunya merupakan jangka masa yang dilanjutkan secara sementara dan bukannya koleksi token buruk bebas. Oleh itu, ia membingkaikan pengesanan sebagai pelabelan jujukan: setiap token menerima skor daripada aliran ciri, manakala model boleh menggunakan maklumat daripada kedudukan jiran untuk memutuskan sama ada rentang mungkin tidak disokong atau tidak betul.
Strim ciri yang dicadangkan mempunyai 33 dimensi. Menurut abstrak, ciri tersebut menggabungkan statistik teks, inferens bahasa semula jadi dan kejutan model bahasa. Pengesan tidak menggunakan pengaktifan dalaman model penjanaan atau dalaman proprietari lain. Kertas kerja menguji unit berulang berpagar dua hala ke atas ciri tersebut dan melaporkan kawasan di bawah lengkung ciri operasi penerima sebanyak 0.840 pada dataset RAGTruth, menggunakan 10 biji. Ia membandingkan keputusan itu dengan garis dasar regresi logistik bebas dan melaporkan peningkatan 11 mata, dengan nilai p 0.002 daripada ujian peringkat bertandatangan Wilcoxon.
Makalah itu juga melaporkan eksperimen penguraian terkawal yang bertujuan untuk memisahkan nilai susunan temporal daripada nilai model yang lebih berkuasa. Tafsirannya ialah kebanyakan keuntungan datang daripada struktur temporal dan bukannya kapasiti model: kedudukan yakin boleh memberikan bukti kepada kedudukan jiran yang samar-samar dalam jangka masa halusinasi. Siling prestasi kira-kira 0.845 yang sama dilaporkan merentas seni bina berulang, ruang keadaan dan perhatian, termasuk Mamba dan model berasaskan perhatian. Pengarang menggunakan siling berulang itu untuk berhujah bahawa faktor pengehad ialah set ciri yang dipilih, bukan seni bina jujukan tertentu.
Sumber itu seterusnya mendakwa bahawa pengesan boleh beroperasi pada teks yang dijana oleh model sumber tertutup kerana ia membaca teks yang dijana dan isyarat luaran sahaja. Ia juga melaporkan bahawa pengesan terus bekerja pada teks daripada model bahasa yang tidak terdapat dalam data latihannya, dengan kehilangan kurang daripada 4% dalam AUC. Ini adalah tuntutan yang dibuat oleh satu pracetak. Sumber yang dibekalkan tidak memberikan nama model yang dinilai, butiran pembinaan set data, protokol ujian kereta api, prosedur ambang, ketepatan, penarikan semula, penentukuran, kependaman atau contoh ralat. Ia juga tidak mewujudkan pengesahan bebas terhadap penemuan.
Mengapa ia penting
Pendekatan ini direka bentuk untuk berfungsi tanpa akses kepada keadaan dalaman model, yang boleh menjadikannya terpakai kepada sistem sumber tertutup. Jika keputusan yang dilaporkan berada di luar tetapan penilaian kertas, ini boleh membantu mengenal pasti rentang yang boleh dipersoalkan dalam jawapan yang ditambah perolehan dan aliran kerja semakan atau pengesahan sokongan. Hasilnya kekal sebagai permulaan: sumbernya ialah pracetak arXiv, dan rekod yang dibekalkan tidak mewujudkan replikasi bebas atau prestasi pengeluaran.
Kepentingan praktikal ialah model capaian yang dicadangkan pengesan. Banyak teknik pemantauan model bergantung pada perwakilan dalaman, kebarangkalian atau maklumat lain yang tersedia hanya kepada pengendali model. Pengesan berdasarkan teks yang dijana dan isyarat luaran boleh, pada dasarnya, diletakkan di sekeliling model yang bahagian dalamnya tidak boleh diakses. Itu menjadikan idea itu relevan kepada organisasi yang menggunakan model bahasa yang dihoskan, walaupun sumbernya tidak menunjukkan bahawa ia telah disepadukan ke dalam perkhidmatan langsung atau diuji di bawah trafik pengeluaran.
Pembingkaian berasaskan jujukan juga menangani had sebenar dalam perbandingan kertas: yang kelihatan biasa secara berasingan mungkin sebahagian daripada tuntutan tidak disokong yang lebih lama. Menggunakan bukti jiran boleh membenarkan sistem membenderakan petikan untuk semakan dan bukannya membentangkan senarai panjang skor token yang terputus sambungan. Dalam aliran kerja ditambah perolehan, isyarat sedemikian boleh digunakan untuk meminta bukti tambahan, mengarahkan jawapan kepada manusia, atau menyekat rentang yang sangat tidak pasti. Ini adalah aplikasi berpotensi yang disimpulkan daripada kaedah, bukan penggunaan yang ditunjukkan oleh sumber.
Peningkatan AUC yang dilaporkan adalah ketara dalam eksperimen yang dinyatakan kerana ia menunjukkan bahawa maklumat pesanan mungkin lebih penting daripada sekadar menggantikan garis dasar linear dengan pengesan yang lebih besar. Siling rentas seni bina juga berguna sebagai penemuan penyelidikan: jika kelas model yang berbeza berkumpul berhampiran skor yang sama, menambah kapasiti sahaja mungkin tidak menangani ralat yang tinggal. Penjelasan kertas itu sendiri menunjukkan ke arah meningkatkan isyarat asas, seperti kualiti entailment atau ciri mengejutkan, dan bukannya mengandaikan bahawa model jujukan yang berbeza akan menyelesaikan masalah.
Had adalah sama penting. AUC sebanyak 0.840 meringkaskan prestasi kedudukan merentas ambang; ia tidak menyatakan berapa banyak halusinasi yang akan ditangkap pada kadar amaran operasi, berapa banyak laluan yang betul akan ditanda secara salah, atau sama ada markah pengesan ditentukur sebagai kebarangkalian. RAGTruth mungkin tidak mewakili setiap bidang subjek atau format jawapan. Oleh kerana bahan berwibawa di sini ialah pracetak arXiv tunggal, hasilnya tidak ditentukan secara bebas oleh rekod yang dibekalkan. Pembaca harus menganggap penemuan sebagai bukti untuk ujian lanjut, bukan sebagai bukti bahawa pengesanan halusinasi diselesaikan.
Mekanisme Interaktif: Bagaimana Ia Berfungsi Sebenarnya
Terokai teknologi asas di sebalik pembangunan ini secara interaktif.
crm_get_transaction(id='4092').In AI, what are a model's "parameters"?
Apa yang perlu ditonton seterusnya
Ujian seterusnya yang penting ialah replikasi pada set data tambahan, penilaian merentas domain dan keluarga model, dan pengukuran positif palsu, penentukuran dan kependaman. Abstrak kertas itu tidak menyatakan model yang dinilai, ambang operasi pengesan, ketepatan atau ingatannya, atau cara prestasi berubah apabila bukti tidak lengkap, samar-samar atau bertentangan. Butiran tersebut akan menentukan sama ada kaedah itu adalah perlindungan yang berguna atau terutamanya hasil penanda aras.
Replikasi harus bermula dengan protokol tepat kertas dan kemudian mengembangkannya. Penyelidik harus melaporkan hasil pada beberapa set data halusinasi, mendokumenkan model bahasa yang digunakan untuk menjana dan menilai teks, dan menguji domain yang ralat membawa akibat yang berbeza. Perbandingan harus termasuk garis dasar leksikal dan entailment yang mudah, pengelas yang ditentukur dan kaedah yang menggunakan maklumat dalaman model apabila maklumat itu tersedia. Persoalan utama ialah sama ada keuntungan yang dilaporkan dapat bertahan dalam perubahan dalam data, penjana dan amalan anotasi.
Pengukuran operasi akan sama pentingnya dengan AUC agregat. Penilaian masa hadapan harus menerbitkan ketepatan dan ingat semula pada ambang amaran tertentu, lengkung penentukuran, pertindihan tahap rentang dengan label manusia, dan masa serta kos pengkomputeran untuk menghasilkan setiap keputusan. Pengesan yang mengenal pasti kawasan luas tetapi tidak dapat membezakan ketidakpastian yang tidak berbahaya daripada pernyataan palsu berbangkit mungkin sukar untuk digunakan. Sumber itu tidak menyatakan sama ada kaedah itu bertujuan untuk pengesanan penstriman, semakan pasca penjanaan atau kedua-duanya, jadi kependaman penggunaan dan titik di mana sistem boleh campur tangan masih tidak diketahui.
Ujian keteguhan harus meneliti bukti perolehan yang tidak lengkap, sumber bercanggah, dakwaan yang diparafrasa, jawapan yang panjang dan teks yang sengaja dibuat. Oleh kerana pengesan menggunakan isyarat luaran, kualiti dan kebebasan isyarat tersebut mungkin mengawal prestasi. Model bahasa juga boleh menukar gaya, penentukuran atau corak ralatnya selepas penggunaan, yang berpotensi melemahkan pengesan yang dilatih pada output yang lebih lama. Makalah ini melaporkan kehilangan AUC kurang daripada 4% pada model bahasa ghaib, tetapi abstrak yang dibekalkan tidak mentakrifkan pemisahan model atau menunjukkan sama ada keputusan itu meluas ke domain ghaib dan mengubah sistem perolehan semula.
Akhir sekali, siling prestasi berulang kertas patut diteliti. Ia mungkin menunjukkan had tulen dalam tiga keluarga isyarat, atau ia mungkin mencerminkan set data, label atau reka bentuk percubaan. Kertas penuh harus menjelaskan bagaimana rentang halusinasi dilabelkan, cara bukti dipilih dan sama ada sebarang maklumat daripada set penilaian boleh bocor ke dalam ciri. Pelaksanaan bebas dan ujian prospektif pada jawapan sebenar yang dihadapi pengguna akan memberikan bukti yang lebih kukuh daripada penggantian seni bina tambahan. Sehingga itu, perkara yang tidak diketahui yang paling berbangkit bukanlah sama ada pengesan boleh menilai contoh dalam penanda aras yang dilaporkan, tetapi sama ada pengesan boleh meningkatkan keputusan dengan pasti dalam tetapan di mana pernyataan model yang tidak disokong mewujudkan bahaya praktikal.