Kuiz berkaitan panduan · Keras Tahap

Kadar Halusinasi dalam Kuiz Alat AI Undang-undang

Menguji cara kajian Stanford mentakrifkan dan mengukur halusinasi AI undang-undang, apakah jawapan yang salah asas, dan mengapa penjanaan penambahan perolehan masih gagal.

soalan 1 daripada 8

Bagaimanakah Stanford "Bebas Halusinasi?" kajian mentakrifkan halusinasi?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Bagaimanakah Stanford "Bebas Halusinasi?" kajian mentakrifkan halusinasi?
    • Sebarang jawapan lebih panjang daripada dokumen sumber
    • Jawapan yang sama ada tidak betul atau salah asas
    • Hanya petikan kes yang tidak wujud
    • Sebarang jawapan alat mengambil masa lebih daripada satu minit untuk dihasilkan
  2. Dalam istilah kajian Stanford, apakah jawapan 'salah asas'?
    • Jawapan yang enggan menjawab
    • Jawapan yang ditulis dalam bahasa yang salah
    • Jawapan tanpa petikan langsung
    • Jawapan yang memetik sumber sebenar yang tidak menyokong dakwaannya
  3. Alat manakah yang menunjukkan prestasi terbaik dalam ujian Stanford 2024 tetapi masih berhalusinasi pada lebih daripada 17 peratus pertanyaan?
    • Lexis+ AI
    • Westlaw AI-Assisted Research
    • Tanya Undang-undang Praktikal AI
    • GPT-4 digunakan sebagai perbandingan
  4. Apakah julat halusinasi yang ditemui oleh "Fiksyen Undang-undang Besar" untuk chatbots tujuan umum pada soalan mahkamah persekutuan yang boleh disahkan?
    • 1 hingga 3 peratus
    • 17 hingga 33 peratus
    • 69 hingga 88 peratus
    • 95 hingga 100 peratus
  5. Mengapakah langkah mendapatkan semula boleh mencari pihak berkuasa yang salah walaupun pangkalan data mengandungi yang betul?
    • Pangkalan data undang-undang disulitkan dan tidak boleh dicari
    • Pengambilan semula hanya berfungsi untuk statut, bukan kes
    • Retrieval menyusun dokumen mengikut abjad
    • Pengambilan semula sepadan dengan perkataan atau makna yang serupa, yang tidak sama dengan perkaitan undang-undang
  6. Apakah kecenderungan yang ditemui oleh penyelidikan apabila soalan mengandungi premis palsu?
    • Model cenderung untuk menerima premis dan menjawab seolah-olah ia benar
    • Model sentiasa membetulkan premis
    • Model menolak setiap soalan sedemikian
    • Model membalas hanya dengan teks statut yang berkaitan
  7. Mitigasi yang manakah secara khusus membantu menandakan kes yang disebut yang kemudiannya diterbalikkan atau ditolak?
    • Menaikkan tetapan suhu model
    • Membuat jawapan lebih pendek
    • Menerjemahkan pertanyaan ke dalam bahasa lain
    • Menyambungkan penyebut seperti KeyCite atau Shepard
  8. Apakah tuntutan pemasaran yang dipersoalkan secara langsung oleh tajuk kajian Stanford?
    • Alat AI yang sah itu lebih murah daripada paralegal
    • Bahawa beberapa alatan adalah 'bebas halusinasi'
    • AI yang sah itu boleh lulus peperiksaan bar
    • Alat AI itu telah diluluskan oleh mahkamah