SeterusnyaPanduan seterusnya
Ringkasan Ulasan AI pada Halaman Produk
AI bahasa
PANDUAN AI Bahasa
Model bahasa besar seperti GPT-4 telah mendapat markah melebihi garis lulus biasa pada versi simulasi Peperiksaan Bar Seragam.
Dengar panduan iniAI-diceritakan · ~3 min
Angka yang paling terkenal ialah kira-kira 298 daripada 400, dilaporkan pada tahun 2023. Keputusan ini menunjukkan bahawa model boleh mengendalikan format ujian pelesenan yang bertulis dan sarat dengan peraturan. Ia mengukur prestasi ujian di bawah pilihan penggredan dan perbandingan tertentu, bukan pertimbangan penuh yang diperlukan oleh seorang peguam yang sedang beramal.
The Uniform Bar Exam (UBE) has three parts. The Multistate Bar Examination (MBE) has 200 multiple-choice questions and counts for half the score. The Multistate Essay Examination (MEE) has six essays. The Multistate Performance Test (MPT) has two tasks in which the examinee works from a closed file of facts and law to write a memo or brief. Scores run to 400, and each jurisdiction sets its own passing line, commonly between 260 and 270. In late 2022, Michael Bommarito and Daniel Martin Katz tested GPT-3.5 on MBE practice questions. It answered about half correctly: well above chance, but below passing. In March 2023, Katz, Bommarito, Shang Gao and Pablo Arredondo reported that GPT-4 scored about 297 on a full simulated UBE. OpenAI's GPT-4 technical report cited roughly 298 and a percentile near the 90th. The percentile drew the sharpest criticism. In a 2024 paper in the journal Artificial Intelligence and Law, Eric Martínez showed that the 90th-percentile figure was based on February test takers. The February group includes an unusually large share of people retaking the exam after failing. Compared with first-time July takers, his estimate fell to around the 60th percentile, and lower on the essays. He also noted that the essays were scored by the researchers against published sample answers, not by trained bar graders, which adds uncertainty. Contamination is another concern: past questions circulate online and may have been in the training data. A common misconception is that passing the bar means a model can practice law. The exam tests recall of rules and structured analysis within a closed set of facts. Practice also requires investigating facts, counseling clients, planning strategy, judging risk and taking professional responsibility. In Mata v. Avianca (2023), lawyers filed a brief containing citations that ChatGPT had invented. The case showed that exam-level fluency does not guarantee reliable legal research.
Laporan teknikal GPT-4 bagi OpenAI pada Mac 2023 menyenaraikan skor simulasi Peperiksaan Bar Seragam (Uniform Bar Exam) kira-kira 298 daripada 400 dan persentil hampir ke-90, angka yang kemudiannya diulang secara meluas dalam tajuk berita.
Seorang profesor undang-undang menjalankan soalan aneka pilihan gaya MBE melalui chatbot dan membandingkan jawapannya dengan jawapan pelajarnya. Model ini kuat dalam peraturan undang-undang bertulis (black-letter rules) tetapi kurang boleh dipercayai apabila fakta sengaja dibuat samar.
Seorang penilai menyemak sama ada soalan latihan telah disiarkan dalam talian sebelum tarikh akhir latihan model. Model yang telah melihat soalan tersebut mungkin mengingat semula jawapan dan bukannya menaakul jawapannya.
Seorang pemohon bar menggunakan tutor AI untuk menerangkan soalan MBE yang dia terlepas. Dia menyemak setiap penjelasan terhadap garis panduan komersial kerana tutor kadangkala membentangkan peraturan minoriti sebagai peraturan majoriti.
Skor bar menjadi kurang berguna sebagai penanda aras. Model teratas sudah mendapat skor hampir ke tahap siling pada soalan undang-undang aneka pilihan, dan pencemaran sukar untuk diketepikan. Penyelidik telah beralih ke arah koleksi tugas seperti LegalBench, penanda aras kolaboratif yang dikeluarkan pada 2023 yang memecahkan penaakulan undang-undang kepada banyak tugas yang lebih sempit. Mereka juga telah beralih ke arah ujian yang dibina berdasarkan kerja sebenar, seperti memo penyelidikan dan semakan kontrak, yang digredkan oleh peguam yang sedang beramal. Peperiksaan bar NextGen NCBE, yang dirancang untuk bermula pada 2026, memberi lebih berat kepada kemahiran bersepadu seperti penyelidikan dan penggubalan. Itu mungkin menjadikan perbandingan dengan AI lebih bermaklumat. Sama ada model boleh lulus ujian adalah perkara yang sebahagian besarnya telah diselesaikan. Persoalan yang terbuka ialah sejauh mana kebolehpercayaan prestasi mereka, dan bagaimana mereka gagal, dalam perkara sebenar yang tidak dikenali.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Model bahasa besar seperti GPT-4 telah mendapat skor melebihi tahap lulus biasa pada versi simulasi Peperiksaan Bar Seragam. Angka yang paling terkenal ialah kira-kira 298 daripada 400, dilaporkan pada tahun 2023. Keputusan ini menunjukkan bahawa model boleh mengendalikan format ujian pelesenan yang bertulis dan sarat dengan peraturan. Ia mengukur prestasi ujian di bawah pilihan penggredan dan perbandingan tertentu, bukan pertimbangan penuh yang diperlukan oleh seorang peguam yang sedang beramal.
MBE ialah bahagian aneka pilihan 200 soalan dan membentuk 50 peratus daripada skor UBE. MEE ialah enam esei, dan MPT ialah dua tugas fail tertutup.
OpenAI melaporkan kira-kira 298 daripada 400. Itu adalah melebihi julat lulus 260 hingga 270 yang biasa merentas bidang kuasa, dan ia dipadankan dengan persentil hampir ke-90.
Kumpulan Februari merangkumi sebahagian besar orang yang mengambil semula peperiksaan selepas gagal. Berbanding dengan peserta Julai kali pertama, Martínez menganggarkan GPT-4 jatuh kepada sekitar persentil ke-60 secara keseluruhan.
Esei tersebut telah dinilai oleh pengarang kajian berbanding jawapan sampel yang diterbitkan, bukan oleh penilai bar terlatih. Martínez menyatakan ini menambahkan ketidakpastian kepada skor bahagian bertulis.
GPT-3.5 mendapat kira-kira separuh daripada soalan dengan betul. Angka itu jauh melebihi 25 peratus yang dijangkakan daripada tekaan pada soalan empat pilihan, tetapi di bawah tahap lulus.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Ringkasan Ulasan AI pada Halaman Produk
AI bahasa