Kuiz berkaitan panduan · Keras Tahap
Kadar Halusinasi dalam Kuiz Alat AI Undang-undang
Menguji cara kajian Stanford mentakrifkan dan mengukur halusinasi AI undang-undang, apakah jawapan yang salah asas, dan mengapa penjanaan penambahan perolehan masih gagal.
soalan 1 daripada 8
Bagaimanakah Stanford "Bebas Halusinasi?" kajian mentakrifkan halusinasi?
Pratonton setiap soalan8 soalan
Jawapan dan penjelasan muncul semasa anda mengambil kuiz.
- Bagaimanakah Stanford "Bebas Halusinasi?" kajian mentakrifkan halusinasi?
- Sebarang jawapan lebih panjang daripada dokumen sumber
- Jawapan yang sama ada tidak betul atau salah asas
- Hanya petikan kes yang tidak wujud
- Sebarang jawapan alat mengambil masa lebih daripada satu minit untuk dihasilkan
- Dalam istilah kajian Stanford, apakah jawapan 'salah asas'?
- Jawapan yang enggan menjawab
- Jawapan yang ditulis dalam bahasa yang salah
- Jawapan tanpa petikan langsung
- Jawapan yang memetik sumber sebenar yang tidak menyokong dakwaannya
- Alat manakah yang menunjukkan prestasi terbaik dalam ujian Stanford 2024 tetapi masih berhalusinasi pada lebih daripada 17 peratus pertanyaan?
- Lexis+ AI
- Westlaw AI-Assisted Research
- Tanya Undang-undang Praktikal AI
- GPT-4 digunakan sebagai perbandingan
- Apakah julat halusinasi yang ditemui oleh "Fiksyen Undang-undang Besar" untuk chatbots tujuan umum pada soalan mahkamah persekutuan yang boleh disahkan?
- 1 hingga 3 peratus
- 17 hingga 33 peratus
- 69 hingga 88 peratus
- 95 hingga 100 peratus
- Mengapakah langkah mendapatkan semula boleh mencari pihak berkuasa yang salah walaupun pangkalan data mengandungi yang betul?
- Pangkalan data undang-undang disulitkan dan tidak boleh dicari
- Pengambilan semula hanya berfungsi untuk statut, bukan kes
- Retrieval menyusun dokumen mengikut abjad
- Pengambilan semula sepadan dengan perkataan atau makna yang serupa, yang tidak sama dengan perkaitan undang-undang
- Apakah kecenderungan yang ditemui oleh penyelidikan apabila soalan mengandungi premis palsu?
- Model cenderung untuk menerima premis dan menjawab seolah-olah ia benar
- Model sentiasa membetulkan premis
- Model menolak setiap soalan sedemikian
- Model membalas hanya dengan teks statut yang berkaitan
- Mitigasi yang manakah secara khusus membantu menandakan kes yang disebut yang kemudiannya diterbalikkan atau ditolak?
- Menaikkan tetapan suhu model
- Membuat jawapan lebih pendek
- Menerjemahkan pertanyaan ke dalam bahasa lain
- Menyambungkan penyebut seperti KeyCite atau Shepard
- Apakah tuntutan pemasaran yang dipersoalkan secara langsung oleh tajuk kajian Stanford?
- Alat AI yang sah itu lebih murah daripada paralegal
- Bahawa beberapa alatan adalah 'bebas halusinasi'
- AI yang sah itu boleh lulus peperiksaan bar
- Alat AI itu telah diluluskan oleh mahkamah