คู่มือ AI ภาษา

AI ดำเนินการอย่างไรในการสอบเนติบัณฑิต

โมเดลภาษาขนาดใหญ่ เช่น GPT-4 ได้คะแนนเหนือเส้นผ่านมาตรฐานทั่วไปในเวอร์ชันจำลองของการสอบบาร์ชุดเครื่องแบบ

ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min

บนหน้านี้อ่าน 4 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการทำงานของ AI ในการสอบเนติบัณฑิต
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

ตัวเลขที่รู้จักกันดีที่สุดคือประมาณ 298 จาก 400 รายงานในปี 2023 ผลลัพธ์เหล่านี้แสดงให้เห็นว่าแบบจำลองสามารถรองรับรูปแบบการทดสอบใบอนุญาตที่เป็นลายลักษณ์อักษรและมีกฎเกณฑ์สูง โดยจะวัดผลการทดสอบภายใต้ตัวเลือกการให้เกรดและการเปรียบเทียบโดยเฉพาะ ไม่ใช่การตัดสินเต็มรูปแบบที่ทนายความฝึกหัดต้องการ

เจาะลึก

การสอบบาร์เครื่องแบบ (UBE) มีสามส่วน Multistate Bar Examination (MBE) มีคำถามแบบปรนัย 200 ข้อและคิดเป็นครึ่งหนึ่งของคะแนน การสอบเรียงความแบบหลายรัฐ (MEE) มีบทความหกเรื่อง การทดสอบประสิทธิภาพแบบหลายรัฐ (MPT) มีสองงานที่ผู้เข้าสอบทำงานจากแฟ้มข้อเท็จจริงและกฎหมายแบบปิดเพื่อเขียนบันทึกหรือบทสรุป คะแนนสูงถึง 400 และแต่ละเขตอำนาจศาลจะกำหนดเส้นส่งของตนเอง โดยทั่วไปจะอยู่ระหว่าง 260 ถึง 270 ในช่วงปลายปี 2022 Michael Bommarito และ Daniel Martin Katz ทดสอบ GPT-3.5 กับคำถามฝึกหัด MBE ตอบถูกประมาณครึ่งหนึ่ง: มีโอกาสมากกว่าแต่ต่ำกว่าผ่าน ในเดือนมีนาคม พ.ศ. 2566 Katz, Bommarito, Shang Gao และ Pablo Arredondo รายงานว่า GPT-4 ทำคะแนนได้ประมาณ 297 ใน UBE จำลองเต็มรูปแบบ รายงานทางเทคนิค OpenAI ของ GPT-4 อ้างถึงประมาณ 298 และเปอร์เซ็นไทล์ใกล้กับอันดับที่ 90 เปอร์เซ็นไทล์ได้รับการวิพากษ์วิจารณ์อย่างคมชัดที่สุด ในรายงานปี 2024 ในวารสาร Artificial Intelligence and Law เอริก มาร์ติเนซแสดงให้เห็นว่าตัวเลขเปอร์เซ็นไทล์ที่ 90 มาจากผู้สอบในเดือนกุมภาพันธ์ กลุ่มเดือนกุมภาพันธ์มีผู้สอบซ้ำหลังจากสอบไม่ผ่านเป็นจำนวนมากผิดปกติ เมื่อเทียบกับผู้เข้าสอบครั้งแรกในเดือนกรกฎาคม ค่าประมาณของเขาลดลงเหลือประมาณเปอร์เซ็นไทล์ที่ 60 และต่ำกว่าในเรียงความ นอกจากนี้เขายังตั้งข้อสังเกตด้วยว่านักวิจัยให้คะแนนเรียงความเทียบกับคำตอบตัวอย่างที่ตีพิมพ์ ไม่ใช่โดยนักเรียนระดับมาตรฐานบาร์ที่ผ่านการฝึกอบรม ซึ่งเพิ่มความไม่แน่นอน การปนเปื้อนเป็นอีกความกังวลหนึ่ง คำถามที่ผ่านมาแพร่กระจายทางออนไลน์และอาจอยู่ในข้อมูลการฝึกอบรม ความเข้าใจผิดที่พบบ่อยคือ การผ่านเกณฑ์หมายความว่าแบบจำลองสามารถปฏิบัติตามกฎหมายได้ การสอบจะทดสอบการเรียกคืนกฎและการวิเคราะห์เชิงโครงสร้างภายในชุดข้อเท็จจริงแบบปิด การปฏิบัติยังต้องมีการตรวจสอบข้อเท็จจริง การให้คำปรึกษาแก่ลูกค้า การวางแผนกลยุทธ์ การตัดสินความเสี่ยง และความรับผิดชอบอย่างมืออาชีพ ใน Mata v. Avianca (2023) ทนายความได้ยื่นบทสรุปที่มีการอ้างอิงที่ ChatGPT เป็นผู้คิดค้น กรณีนี้แสดงให้เห็นว่าความคล่องในระดับการสอบไม่ได้รับประกันการวิจัยทางกฎหมายที่เชื่อถือได้

การใช้งานจริงในโลกแห่งความเป็นจริง

รายงานทางเทคนิคของ OpenAI ในเดือนมีนาคม 2023 ของ GPT-4 ระบุคะแนนการสอบ Uniform Bar จำลองที่ประมาณ 298 จาก 400 และมีเปอร์เซ็นไทล์ใกล้กับอันดับที่ 90 ซึ่งเป็นตัวเลขที่มีการกล่าวซ้ำอย่างกว้างขวางในพาดหัวข่าว

ศาสตราจารย์ด้านกฎหมายถามคำถามแบบปรนัยสไตล์ MBE ผ่านแชทบอท และเปรียบเทียบคำตอบกับนักเรียนของเธอ แบบจำลองนี้เข้มงวดกับกฎตัวอักษรสีดำ แต่มีความน่าเชื่อถือน้อยกว่าเมื่อข้อเท็จจริงมีความคลุมเครือโดยเจตนา

ผู้ประเมินจะตรวจสอบว่ามีการโพสต์คำถามฝึกหัดทางออนไลน์หรือไม่ ก่อนที่จะตัดรอบการฝึกของแบบจำลอง แบบจำลองที่เห็นคำถามแล้วอาจนึกถึงคำตอบมากกว่าการให้เหตุผล

ผู้สมัครบาร์ใช้ครูสอนพิเศษ AI เพื่ออธิบายคำถาม MBE ที่เธอพลาดไป เธอตรวจสอบคำอธิบายแต่ละรายการโดยเทียบกับโครงร่างเชิงพาณิชย์ เนื่องจากบางครั้งครูสอนพิเศษจะนำเสนอกฎเสียงข้างน้อยเป็นกฎเสียงข้างมาก

อนาคตของการทำงานของ AI ในการสอบเนติบัณฑิต

คะแนนบาร์เริ่มมีประโยชน์น้อยลงในการเป็นเกณฑ์มาตรฐาน โมเดลชั้นนำได้คะแนนสูงเกือบเพดานสำหรับคำถามทางกฎหมายแบบปรนัย และการปนเปื้อนก็ยากที่จะแยกแยะ นักวิจัยได้มุ่งไปสู่การรวบรวมงานต่างๆ เช่น LegalBench ซึ่งเป็นเกณฑ์มาตรฐานการทำงานร่วมกันที่เปิดตัวในปี 2023 ซึ่งแบ่งการให้เหตุผลทางกฎหมายออกเป็นงานที่แคบลง พวกเขายังมุ่งไปสู่การทดสอบที่สร้างขึ้นจากงานจริง เช่น บันทึกการวิจัยและการทบทวนสัญญา ซึ่งให้คะแนนโดยนักกฎหมายฝึกหัด การสอบเน็กซ์เจนเน็กซ์ของ NCBE ซึ่งวางแผนจะเริ่มในปี 2026 จะให้น้ำหนักมากขึ้นแก่ทักษะบูรณาการ เช่น การวิจัยและการร่าง นั่นอาจทำให้การเปรียบเทียบกับ AI มีข้อมูลมากขึ้น โมเดลสามารถผ่านการทดสอบได้หรือไม่นั้นส่วนใหญ่แล้ว คำถามเปิดคือพวกเขาทำงานได้อย่างน่าเชื่อถือเพียงใด และล้มเหลวอย่างไรในเรื่องจริงที่ไม่คุ้นเคย

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ความเร็วและขนาด. ขั้นตอนการทำงานของภาษาสามารถดำเนินไปได้เร็วขึ้นโดยไม่กระทบต่อความสม่ำเสมอ
  • เข้าถึงและเข้าถึง. ขยายการเข้าถึงภาษาและรูปแบบการสื่อสาร
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. ทีมสามารถใช้เวลามากขึ้นในการตัดสิน ในขณะที่ระบบอัตโนมัติจัดการกับการทำซ้ำ

ระวัง

  • ข้อเท็จจริงที่หลอนประสาทสามารถเข้าสู่รายงาน กระแสสนับสนุน หรือผลการวิจัยได้อย่างเงียบๆ
  • ความละเอียดอ่อนของการแจ้งเตือนสามารถสร้างผลลัพธ์ที่ไม่สอดคล้องกันในคำขอที่คล้ายกัน
  • ข้อมูลข้อความที่ละเอียดอ่อนอาจถูกเปิดเผยหากการควบคุมการเข้าถึงอ่อนแอ

ขั้นตอนต่อไป

  1. กำหนดรูปแบบเอาต์พุต โทนเสียง และมาตรฐานคุณภาพก่อนเปิดตัว
  2. การตอบสนองภาคพื้นดินกับแหล่งข้อมูลที่เชื่อถือได้เมื่อใดก็ตามที่ความแม่นยำมีความสำคัญ
  3. รักษาจุดตรวจสอบการตรวจสอบโดยมนุษย์สำหรับผลลัพธ์ที่มีเดิมพันสูง
  4. ติดตามรูปแบบความล้มเหลวและฝึกอบรมพร้อมท์หรือเวิร์กโฟลว์เป็นประจำ

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the How AI Performs on the Bar Exam quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

AI ดำเนินการอย่างไรในการสอบเนติบัณฑิต?

โมเดลภาษาขนาดใหญ่ เช่น GPT-4 ได้คะแนนสูงกว่าเกณฑ์ทั่วไปในการสอบ Uniform Bar เวอร์ชันจำลอง ตัวเลขที่รู้จักกันดีที่สุดคือประมาณ 298 จาก 400 รายงานในปี 2023 ผลลัพธ์เหล่านี้แสดงให้เห็นว่าแบบจำลองสามารถรองรับรูปแบบการทดสอบใบอนุญาตที่เป็นลายลักษณ์อักษรและมีกฎเกณฑ์สูง โดยจะวัดผลการทดสอบภายใต้ตัวเลือกการให้เกรดและการเปรียบเทียบโดยเฉพาะ ไม่ใช่การตัดสินเต็มรูปแบบที่ทนายความฝึกหัดต้องการ

ข้อสอบชุดเครื่องแบบข้อใดมีคำถามแบบปรนัย 200 ข้อ และคิดเป็นครึ่งหนึ่งของคะแนนทั้งหมด

MBE เป็นส่วนข้อสอบแบบปรนัยจำนวน 200 ข้อ และคิดเป็น 50 เปอร์เซ็นต์ของคะแนน UBE MEE เป็นบทความหกเรื่อง และ MPT เป็นงานปิดสองงาน

คะแนนการสอบ Uniform Bar จำลองใดที่รายงานทางเทคนิค GPT-4 ของ GPT-4 อ้างอิงในปี 2023

OpenAI รายงานประมาณ 298 จาก 400 ซึ่งสูงกว่าช่วง 260 ถึง 270 ที่พบได้ทั่วไปในเขตอำนาจศาล และจับคู่กับเปอร์เซ็นไทล์ใกล้กับอันดับที่ 90

จากคำวิจารณ์ของ Eric Martínez ในปี 2024 เหตุใดตัวเลขเปอร์เซ็นไทล์ที่ 90 ของ GPT-4 จึงทำให้เข้าใจผิด

กลุ่มเดือนกุมภาพันธ์ประกอบด้วยผู้คนจำนวนมากที่สอบซ้ำหลังจากสอบไม่ผ่าน เมื่อเทียบกับผู้เข้ารับเดือนกรกฎาคมครั้งแรก Martínez ประเมินว่า GPT-4 ลดลงเหลือประมาณเปอร์เซ็นไทล์โดยรวมที่ 60

ใครเป็นผู้ให้คะแนนคำตอบเรียงความของ GPT-4 ในการสอบจำลองบาร์ปี 2023 ตามคำวิจารณ์ที่อธิบายไว้ในคู่มือ

ผู้เขียนรายงานงานวิจัยนี้ให้คะแนนเรียงความเทียบกับคำตอบตัวอย่างที่ตีพิมพ์ ไม่ใช่โดยนักเรียนระดับบาร์ที่ผ่านการฝึกอบรม มาร์ติเนซตั้งข้อสังเกตว่าสิ่งนี้เพิ่มความไม่แน่นอนให้กับคะแนนในส่วนที่เป็นลายลักษณ์อักษร

Bommarito และ Katz พบอะไรเมื่อทดสอบ GPT-3.5 กับคำถามฝึกหัด MBE ในปลายปี 2022

GPT-3.5 ตอบคำถามถูกประมาณครึ่งหนึ่ง ซึ่งถือว่าสูงกว่าที่คาดไว้ร้อยละ 25 จากการเดาคำถามสี่ตัวเลือก แต่ต่ำกว่าระดับที่ผ่าน

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →