PANDUAN AI Bahasa
Kadar Halusinasi dalam Alat AI Undang-undang
Ujian bebas mendapati bahawa alat penyelidikan undang-undang AI yang dibina pada penjanaan dipertingkatkan semula (RAG) masih memberikan jawapan yang salah atau tidak disokong bahagian yang bermakna pada masa itu.
Dengar panduan iniAI-diceritakan · ~3 min
Pada halaman ini4 minit membaca
Gambaran keseluruhan
Kajian Stanford pada 2024 mendapati halusinasi dalam lebih daripada satu daripada enam pertanyaan walaupun untuk alat komersial berprestasi terbaik. Ini penting kerana vendor memasarkan alat ini sebagai mengelakkan halusinasi, dan peguam yang bergantung padanya masih bertanggungjawab untuk setiap petikan yang mereka failkan.
Menyelam dalam
Dua kajian yang berkaitan dengan Stanford membentuk perdebatan. Yang pertama, "Fiksyen Undang-undang Besar" (2024), oleh Matthew Dahl, Varun Magesh, Mirac Suzgun dan Daniel Ho, menguji chatbots tujuan umum mengenai soalan yang boleh disahkan tentang kes mahkamah persekutuan. Ia mendapati kadar halusinasi antara 69 dan 88 peratus pada soalan tersebut. Model juga cenderung untuk menerima premis palsu yang dibina ke dalam soalan. Penjual undang-undang komersil berpendapat bahawa alat mereka mengelakkan masalah ini melalui penjanaan dipertingkatkan semula, yang mendasarkan jawapan dalam pangkalan data undang-undang sebenar. Sesetengah pemasaran menggunakan frasa seperti "bebas halusinasi." Pada tahun 2024, penyelidik di RegLab Stanford dan Institut AI Berpusatkan Manusia menguji dakwaan itu dalam kajian bertajuk "Bebas Halusinasi?" Mereka menjalankan lebih daripada 200 pertanyaan undang-undang melalui Lexis+ AI, Westlaw AI-Assisted Research dan Ask Practical Law AI, dengan GPT-4 sebagai perbandingan. Mereka mengira jawapan sebagai halusinasi jika ia sama ada tidak betul atau salah asas. Salah asas bermakna ia memetik sumber sebenar yang tidak menyokong tuntutan tersebut. Lexis+ AI menunjukkan prestasi terbaik, namun masih berhalusinasi pada lebih daripada 17 peratus pertanyaan. Alat Westlaw berhalusinasi pada kira-kira sepertiga. Ask Practical Law AI sering memberikan jawapan yang tidak lengkap. Versi awal kertas itu telah dikritik kerana penyelidik mula-mula kekurangan akses kepada alat penyelidikan Westlaw; mereka kemudiannya mengujinya dan menyemak kertas itu. Pengambilan semula mengurangkan ralat tetapi tidak membuangnya, atas beberapa sebab. Retriever mungkin menemui dokumen yang berkongsi perkataan dengan pertanyaan tetapi tidak berkaitan dari segi undang-undang. Ia mungkin terlepas pihak berkuasa mengawal, atau menarik kes daripada bidang kuasa yang salah atau versi peraturan yang diganti. Model itu kemudiannya mungkin salah membaca atau mengabaikan perkara yang telah diambil, menggabungkan sumber bersama-sama atau pergi bersama-sama dengan premis palsu. Kesalahpahaman biasa ialah petikan yang kelihatan betul bermaksud jawapan yang betul. Kategori salah asas menunjukkan bahawa petikan sebenar boleh menyokong tuntutan palsu.
Pelaksanaan Dunia Sebenar
Rakan sekutu bertanya kepada alat penyelidikan mengapa mahkamah memutuskan cara tertentu dalam kes yang sebenarnya sebaliknya. Alat itu menerima premis palsu dan menerangkan ketetapan yang dicipta, memetik pendapat sebenar.
Alat mengembalikan kes rayuan sebenar dengan petikan yang tepat untuk cadangan yang tidak pernah ditangani oleh kes itu. Ini adalah jawapan 'salah asas' yang kelihatan boleh dipercayai sehingga seseorang membaca pendapat itu.
Alat penyelidikan memetik keputusan yang kemudiannya diterbalikkan, kerana ia mendapatkan semula pendapat yang lebih lama dan tidak menyemak sejarah kemudiannya.
Jabatan undang-undang menguji dua vendor pada set 100 soalan sendiri dengan jawapan yang diketahui. Ia merekodkan sama ada setiap petikan wujud, sama ada ia menyokong tuntutan dan sama ada jawapannya lengkap.
Masa Depan Kadar Halusinasi dalam Alat AI Undang-undang
Penjual telah mengemas kini produk mereka sejak kajian 2024, jadi kadar ralat tertentu mungkin tidak menerangkan versi semasa. Itulah sebabnya ujian bebas berulang lebih penting daripada sebarang nombor tunggal. Usaha penandaarasan oleh pihak ketiga dan oleh firma guaman sendiri menjadi lebih biasa. Petikan yang lebih baik, aliran kerja gaya ejen yang menyemak petikan mereka sendiri dan asas yang lebih kukuh boleh mengurangkan ralat. Tiada apa-apa setakat ini menunjukkan bahawa pengambilan semula akan mengalih keluar mereka sepenuhnya. Mahkamah terus melihat pemfailan dengan pihak berkuasa yang direka atau disalahgambarkan, dan ada yang mengenakan sekatan. Untuk masa hadapan yang boleh dijangka, semakan manusia terhadap setiap pihak berkuasa yang disebut tetap menjadi kewajipan profesional, apa sahaja tuntutan vendor.
Mempraktikkannya
Mengapa ia penting
- Kelajuan dan skala. Aliran kerja bahasa boleh bergerak lebih pantas tanpa mengorbankan konsistensi.
- Akses dan capai. Ia meluaskan akses merentas bahasa dan gaya komunikasi.
- Keputusan yang lebih jelas. Pasukan boleh menghabiskan lebih banyak masa untuk membuat pertimbangan manakala automasi mengendalikan pengulangan.
Berhati-hati untuk
- Fakta halusinasi boleh memasukkan laporan, aliran sokongan atau hasil penyelidikan secara senyap-senyap.
- Sensitiviti segera boleh mencipta hasil yang tidak konsisten merentas permintaan yang serupa.
- Data teks sensitif mungkin terdedah jika kawalan akses lemah.
Langkah seterusnya
- Tentukan format output, nada dan standard kualiti sebelum pelancaran.
- Respons asas dengan sumber yang dipercayai apabila ketepatan penting.
- Simpan pusat pemeriksaan semakan manusia untuk output berkepentingan tinggi.
- Jejaki corak kegagalan dan latih semula gesaan atau aliran kerja dengan kerap.
Teruskan Meneroka
Newsletter percuma
Dapatkan taklimat AI harian
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Take the Hallucination Rates in Legal AI Tools quiz
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Soalan lazim
Apakah Kadar Halusinasi dalam Alat AI Undang-undang?
Ujian bebas mendapati bahawa alat penyelidikan undang-undang AI yang dibina pada penjanaan dipertingkatkan semula (RAG) masih memberikan jawapan yang salah atau tidak disokong bahagian yang bermakna pada masa itu. Kajian Stanford pada 2024 mendapati halusinasi dalam lebih daripada satu daripada enam pertanyaan walaupun untuk alat komersial berprestasi terbaik. Ini penting kerana vendor memasarkan alat ini sebagai mengelakkan halusinasi, dan peguam yang bergantung padanya masih bertanggungjawab untuk setiap petikan yang mereka failkan.
Bagaimanakah Stanford "Bebas Halusinasi?" kajian mentakrifkan halusinasi?
Kajian itu mengira dua jenis ralat: pernyataan yang tidak betul dan pernyataan yang disokong oleh petikan yang sebenarnya tidak menyokongnya.
Dalam istilah kajian Stanford, apakah jawapan 'salah asas'?
Jawapan yang salah merujuk kepada pihak berkuasa yang tulen, tetapi pihak berkuasa itu tidak menyokong apa yang dikatakan oleh jawapan itu. Ini menjadikannya kelihatan lebih boleh dipercayai daripada yang sebenarnya.
Alat manakah yang menunjukkan prestasi terbaik dalam ujian Stanford 2024 tetapi masih berhalusinasi pada lebih daripada 17 peratus pertanyaan?
Lexis+ AI mempunyai hasil terbaik, namun masih berhalusinasi pada lebih daripada 17 peratus pertanyaan. Alat Westlaw berhalusinasi pada kira-kira sepertiga.
Apakah julat halusinasi yang ditemui oleh "Fiksyen Undang-undang Besar" untuk chatbots tujuan umum pada soalan mahkamah persekutuan yang boleh disahkan?
Kajian mendapati bahawa chatbots umum berhalusinasi antara 69 dan 88 peratus masa pada soalan khusus yang boleh disahkan ini.
Mengapakah langkah mendapatkan semula boleh mencari pihak berkuasa yang salah walaupun pangkalan data mengandungi yang betul?
Retriever menjaringkan kedekatan dalam perkataan atau makna. Perbezaan pendapat, ringkasan hujah pihak lain, atau kes dari bidang kuasa yang salah boleh mendapat kedudukan yang tinggi tanpa mengawal pihak berkuasa.
Teruskan belajar
Panduan berkaitan
Lebih banyak panduan dipilih untuk topik ini