คู่มือ AI ภาษา
AI ดำเนินการอย่างไรในการสอบเนติบัณฑิต
โมเดลภาษาขนาดใหญ่ เช่น GPT-4 ได้คะแนนเหนือเส้นผ่านมาตรฐานทั่วไปในเวอร์ชันจำลองของการสอบบาร์ชุดเครื่องแบบ
ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min
บนหน้านี้อ่าน 4 นาที
ภาพรวม
ตัวเลขที่รู้จักกันดีที่สุดคือประมาณ 298 จาก 400 รายงานในปี 2023 ผลลัพธ์เหล่านี้แสดงให้เห็นว่าแบบจำลองสามารถรองรับรูปแบบการทดสอบใบอนุญาตที่เป็นลายลักษณ์อักษรและมีกฎเกณฑ์สูง โดยจะวัดผลการทดสอบภายใต้ตัวเลือกการให้เกรดและการเปรียบเทียบโดยเฉพาะ ไม่ใช่การตัดสินเต็มรูปแบบที่ทนายความฝึกหัดต้องการ
เจาะลึก
การสอบบาร์เครื่องแบบ (UBE) มีสามส่วน Multistate Bar Examination (MBE) มีคำถามแบบปรนัย 200 ข้อและคิดเป็นครึ่งหนึ่งของคะแนน การสอบเรียงความแบบหลายรัฐ (MEE) มีบทความหกเรื่อง การทดสอบประสิทธิภาพแบบหลายรัฐ (MPT) มีสองงานที่ผู้เข้าสอบทำงานจากแฟ้มข้อเท็จจริงและกฎหมายแบบปิดเพื่อเขียนบันทึกหรือบทสรุป คะแนนสูงถึง 400 และแต่ละเขตอำนาจศาลจะกำหนดเส้นส่งของตนเอง โดยทั่วไปจะอยู่ระหว่าง 260 ถึง 270 ในช่วงปลายปี 2022 Michael Bommarito และ Daniel Martin Katz ทดสอบ GPT-3.5 กับคำถามฝึกหัด MBE ตอบถูกประมาณครึ่งหนึ่ง: มีโอกาสมากกว่าแต่ต่ำกว่าผ่าน ในเดือนมีนาคม พ.ศ. 2566 Katz, Bommarito, Shang Gao และ Pablo Arredondo รายงานว่า GPT-4 ทำคะแนนได้ประมาณ 297 ใน UBE จำลองเต็มรูปแบบ รายงานทางเทคนิค OpenAI ของ GPT-4 อ้างถึงประมาณ 298 และเปอร์เซ็นไทล์ใกล้กับอันดับที่ 90 เปอร์เซ็นไทล์ได้รับการวิพากษ์วิจารณ์อย่างคมชัดที่สุด ในรายงานปี 2024 ในวารสาร Artificial Intelligence and Law เอริก มาร์ติเนซแสดงให้เห็นว่าตัวเลขเปอร์เซ็นไทล์ที่ 90 มาจากผู้สอบในเดือนกุมภาพันธ์ กลุ่มเดือนกุมภาพันธ์มีผู้สอบซ้ำหลังจากสอบไม่ผ่านเป็นจำนวนมากผิดปกติ เมื่อเทียบกับผู้เข้าสอบครั้งแรกในเดือนกรกฎาคม ค่าประมาณของเขาลดลงเหลือประมาณเปอร์เซ็นไทล์ที่ 60 และต่ำกว่าในเรียงความ นอกจากนี้เขายังตั้งข้อสังเกตด้วยว่านักวิจัยให้คะแนนเรียงความเทียบกับคำตอบตัวอย่างที่ตีพิมพ์ ไม่ใช่โดยนักเรียนระดับมาตรฐานบาร์ที่ผ่านการฝึกอบรม ซึ่งเพิ่มความไม่แน่นอน การปนเปื้อนเป็นอีกความกังวลหนึ่ง คำถามที่ผ่านมาแพร่กระจายทางออนไลน์และอาจอยู่ในข้อมูลการฝึกอบรม ความเข้าใจผิดที่พบบ่อยคือ การผ่านเกณฑ์หมายความว่าแบบจำลองสามารถปฏิบัติตามกฎหมายได้ การสอบจะทดสอบการเรียกคืนกฎและการวิเคราะห์เชิงโครงสร้างภายในชุดข้อเท็จจริงแบบปิด การปฏิบัติยังต้องมีการตรวจสอบข้อเท็จจริง การให้คำปรึกษาแก่ลูกค้า การวางแผนกลยุทธ์ การตัดสินความเสี่ยง และความรับผิดชอบอย่างมืออาชีพ ใน Mata v. Avianca (2023) ทนายความได้ยื่นบทสรุปที่มีการอ้างอิงที่ ChatGPT เป็นผู้คิดค้น กรณีนี้แสดงให้เห็นว่าความคล่องในระดับการสอบไม่ได้รับประกันการวิจัยทางกฎหมายที่เชื่อถือได้
การใช้งานจริงในโลกแห่งความเป็นจริง
รายงานทางเทคนิคของ OpenAI ในเดือนมีนาคม 2023 ของ GPT-4 ระบุคะแนนการสอบ Uniform Bar จำลองที่ประมาณ 298 จาก 400 และมีเปอร์เซ็นไทล์ใกล้กับอันดับที่ 90 ซึ่งเป็นตัวเลขที่มีการกล่าวซ้ำอย่างกว้างขวางในพาดหัวข่าว
ศาสตราจารย์ด้านกฎหมายถามคำถามแบบปรนัยสไตล์ MBE ผ่านแชทบอท และเปรียบเทียบคำตอบกับนักเรียนของเธอ แบบจำลองนี้เข้มงวดกับกฎตัวอักษรสีดำ แต่มีความน่าเชื่อถือน้อยกว่าเมื่อข้อเท็จจริงมีความคลุมเครือโดยเจตนา
ผู้ประเมินจะตรวจสอบว่ามีการโพสต์คำถามฝึกหัดทางออนไลน์หรือไม่ ก่อนที่จะตัดรอบการฝึกของแบบจำลอง แบบจำลองที่เห็นคำถามแล้วอาจนึกถึงคำตอบมากกว่าการให้เหตุผล
ผู้สมัครบาร์ใช้ครูสอนพิเศษ AI เพื่ออธิบายคำถาม MBE ที่เธอพลาดไป เธอตรวจสอบคำอธิบายแต่ละรายการโดยเทียบกับโครงร่างเชิงพาณิชย์ เนื่องจากบางครั้งครูสอนพิเศษจะนำเสนอกฎเสียงข้างน้อยเป็นกฎเสียงข้างมาก
อนาคตของการทำงานของ AI ในการสอบเนติบัณฑิต
คะแนนบาร์เริ่มมีประโยชน์น้อยลงในการเป็นเกณฑ์มาตรฐาน โมเดลชั้นนำได้คะแนนสูงเกือบเพดานสำหรับคำถามทางกฎหมายแบบปรนัย และการปนเปื้อนก็ยากที่จะแยกแยะ นักวิจัยได้มุ่งไปสู่การรวบรวมงานต่างๆ เช่น LegalBench ซึ่งเป็นเกณฑ์มาตรฐานการทำงานร่วมกันที่เปิดตัวในปี 2023 ซึ่งแบ่งการให้เหตุผลทางกฎหมายออกเป็นงานที่แคบลง พวกเขายังมุ่งไปสู่การทดสอบที่สร้างขึ้นจากงานจริง เช่น บันทึกการวิจัยและการทบทวนสัญญา ซึ่งให้คะแนนโดยนักกฎหมายฝึกหัด การสอบเน็กซ์เจนเน็กซ์ของ NCBE ซึ่งวางแผนจะเริ่มในปี 2026 จะให้น้ำหนักมากขึ้นแก่ทักษะบูรณาการ เช่น การวิจัยและการร่าง นั่นอาจทำให้การเปรียบเทียบกับ AI มีข้อมูลมากขึ้น โมเดลสามารถผ่านการทดสอบได้หรือไม่นั้นส่วนใหญ่แล้ว คำถามเปิดคือพวกเขาทำงานได้อย่างน่าเชื่อถือเพียงใด และล้มเหลวอย่างไรในเรื่องจริงที่ไม่คุ้นเคย
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ความเร็วและขนาด. ขั้นตอนการทำงานของภาษาสามารถดำเนินไปได้เร็วขึ้นโดยไม่กระทบต่อความสม่ำเสมอ
- เข้าถึงและเข้าถึง. ขยายการเข้าถึงภาษาและรูปแบบการสื่อสาร
- การตัดสินใจที่ชัดเจนยิ่งขึ้น. ทีมสามารถใช้เวลามากขึ้นในการตัดสิน ในขณะที่ระบบอัตโนมัติจัดการกับการทำซ้ำ
ระวัง
- ข้อเท็จจริงที่หลอนประสาทสามารถเข้าสู่รายงาน กระแสสนับสนุน หรือผลการวิจัยได้อย่างเงียบๆ
- ความละเอียดอ่อนของการแจ้งเตือนสามารถสร้างผลลัพธ์ที่ไม่สอดคล้องกันในคำขอที่คล้ายกัน
- ข้อมูลข้อความที่ละเอียดอ่อนอาจถูกเปิดเผยหากการควบคุมการเข้าถึงอ่อนแอ
ขั้นตอนต่อไป
- กำหนดรูปแบบเอาต์พุต โทนเสียง และมาตรฐานคุณภาพก่อนเปิดตัว
- การตอบสนองภาคพื้นดินกับแหล่งข้อมูลที่เชื่อถือได้เมื่อใดก็ตามที่ความแม่นยำมีความสำคัญ
- รักษาจุดตรวจสอบการตรวจสอบโดยมนุษย์สำหรับผลลัพธ์ที่มีเดิมพันสูง
- ติดตามรูปแบบความล้มเหลวและฝึกอบรมพร้อมท์หรือเวิร์กโฟลว์เป็นประจำ
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the How AI Performs on the Bar Exam quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
AI ดำเนินการอย่างไรในการสอบเนติบัณฑิต?
โมเดลภาษาขนาดใหญ่ เช่น GPT-4 ได้คะแนนสูงกว่าเกณฑ์ทั่วไปในการสอบ Uniform Bar เวอร์ชันจำลอง ตัวเลขที่รู้จักกันดีที่สุดคือประมาณ 298 จาก 400 รายงานในปี 2023 ผลลัพธ์เหล่านี้แสดงให้เห็นว่าแบบจำลองสามารถรองรับรูปแบบการทดสอบใบอนุญาตที่เป็นลายลักษณ์อักษรและมีกฎเกณฑ์สูง โดยจะวัดผลการทดสอบภายใต้ตัวเลือกการให้เกรดและการเปรียบเทียบโดยเฉพาะ ไม่ใช่การตัดสินเต็มรูปแบบที่ทนายความฝึกหัดต้องการ
ข้อสอบชุดเครื่องแบบข้อใดมีคำถามแบบปรนัย 200 ข้อ และคิดเป็นครึ่งหนึ่งของคะแนนทั้งหมด
MBE เป็นส่วนข้อสอบแบบปรนัยจำนวน 200 ข้อ และคิดเป็น 50 เปอร์เซ็นต์ของคะแนน UBE MEE เป็นบทความหกเรื่อง และ MPT เป็นงานปิดสองงาน
คะแนนการสอบ Uniform Bar จำลองใดที่รายงานทางเทคนิค GPT-4 ของ GPT-4 อ้างอิงในปี 2023
OpenAI รายงานประมาณ 298 จาก 400 ซึ่งสูงกว่าช่วง 260 ถึง 270 ที่พบได้ทั่วไปในเขตอำนาจศาล และจับคู่กับเปอร์เซ็นไทล์ใกล้กับอันดับที่ 90
จากคำวิจารณ์ของ Eric Martínez ในปี 2024 เหตุใดตัวเลขเปอร์เซ็นไทล์ที่ 90 ของ GPT-4 จึงทำให้เข้าใจผิด
กลุ่มเดือนกุมภาพันธ์ประกอบด้วยผู้คนจำนวนมากที่สอบซ้ำหลังจากสอบไม่ผ่าน เมื่อเทียบกับผู้เข้ารับเดือนกรกฎาคมครั้งแรก Martínez ประเมินว่า GPT-4 ลดลงเหลือประมาณเปอร์เซ็นไทล์โดยรวมที่ 60
ใครเป็นผู้ให้คะแนนคำตอบเรียงความของ GPT-4 ในการสอบจำลองบาร์ปี 2023 ตามคำวิจารณ์ที่อธิบายไว้ในคู่มือ
ผู้เขียนรายงานงานวิจัยนี้ให้คะแนนเรียงความเทียบกับคำตอบตัวอย่างที่ตีพิมพ์ ไม่ใช่โดยนักเรียนระดับบาร์ที่ผ่านการฝึกอบรม มาร์ติเนซตั้งข้อสังเกตว่าสิ่งนี้เพิ่มความไม่แน่นอนให้กับคะแนนในส่วนที่เป็นลายลักษณ์อักษร
Bommarito และ Katz พบอะไรเมื่อทดสอบ GPT-3.5 กับคำถามฝึกหัด MBE ในปลายปี 2022
GPT-3.5 ตอบคำถามถูกประมาณครึ่งหนึ่ง ซึ่งถือว่าสูงกว่าที่คาดไว้ร้อยละ 25 จากการเดาคำถามสี่ตัวเลือก แต่ต่ำกว่าระดับที่ผ่าน
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้