VolgendeVolgende gids
AI-recensiesamenvattingen op productpagina's
Taal AI
Taal AI-GIDS
Grote taalmodellen zoals GPT-4 hebben boven de typische slaglijnen gescoord op gesimuleerde versies van het Uniform Bar Exam.
Luister naar deze gidsAI-verteld · ~3 min
Het bekendste cijfer is ongeveer 298 van de 400, gerapporteerd in 2023. Deze resultaten laten zien dat modellen overweg kunnen met het geschreven, regels-zware format van een licentietest. Ze meten de testprestaties onder bepaalde beoordelings- en vergelijkingskeuzes, niet het volledige oordeel dat een praktiserende advocaat nodig heeft.
The Uniform Bar Exam (UBE) has three parts. The Multistate Bar Examination (MBE) has 200 multiple-choice questions and counts for half the score. The Multistate Essay Examination (MEE) has six essays. The Multistate Performance Test (MPT) has two tasks in which the examinee works from a closed file of facts and law to write a memo or brief. Scores run to 400, and each jurisdiction sets its own passing line, commonly between 260 and 270. In late 2022, Michael Bommarito and Daniel Martin Katz tested GPT-3.5 on MBE practice questions. It answered about half correctly: well above chance, but below passing. In March 2023, Katz, Bommarito, Shang Gao and Pablo Arredondo reported that GPT-4 scored about 297 on a full simulated UBE. OpenAI's GPT-4 technical report cited roughly 298 and a percentile near the 90th. The percentile drew the sharpest criticism. In a 2024 paper in the journal Artificial Intelligence and Law, Eric Martínez showed that the 90th-percentile figure was based on February test takers. The February group includes an unusually large share of people retaking the exam after failing. Compared with first-time July takers, his estimate fell to around the 60th percentile, and lower on the essays. He also noted that the essays were scored by the researchers against published sample answers, not by trained bar graders, which adds uncertainty. Contamination is another concern: past questions circulate online and may have been in the training data. A common misconception is that passing the bar means a model can practice law. The exam tests recall of rules and structured analysis within a closed set of facts. Practice also requires investigating facts, counseling clients, planning strategy, judging risk and taking professional responsibility. In Mata v. Avianca (2023), lawyers filed a brief containing citations that ChatGPT had invented. The case showed that exam-level fluency does not guarantee reliable legal research.
Het GPT-4 technisch rapport van maart 2023 van OpenAI vermeldde een gesimuleerde Uniform Bar Exam-score van ongeveer 298 van de 400 en een percentiel nabij de 90e, een cijfer dat vervolgens breed werd herhaald in de krantenkoppen.
Een rechtenprofessor loopt langs meerkeuzevragen in MBE-stijl via een chatbot en vergelijkt de antwoorden met die van haar studenten. Het model is sterk op het gebied van zwarte-letterregels, maar minder betrouwbaar als de feiten opzettelijk dubbelzinnig zijn.
Een evaluator controleert of een oefenvraag online is geplaatst vóór de trainingsonderbreking van een model. Een model dat de vraag al heeft gezien, herinnert zich mogelijk een antwoord in plaats van er naar te redeneren.
Een balie-aanvrager gebruikt een AI-docent om de MBE-vragen uit te leggen die ze heeft gemist. Ze toetst elke uitleg aan een commerciële schets, omdat de docent soms een minderheidsregel als meerderheidsregel presenteert.
Staafscores worden steeds minder bruikbaar als benchmark. Topmodellen scoren al bijna aan het plafond op juridische meerkeuzevraagstukken, en besmetting is moeilijk uit te sluiten. Onderzoekers zijn overgestapt op taakverzamelingen zoals LegalBench, een gezamenlijke benchmark die in 2023 werd uitgebracht en die juridisch redeneren opsplitst in veel kleinere taken. Ze zijn ook overgegaan op tests die zijn gebaseerd op echt werk, zoals onderzoeksmemo's en contractbeoordeling, beoordeeld door praktiserende advocaten. Het NextGen-bar-examen van de NCBE, gepland voor 2026, geeft meer gewicht aan geïntegreerde vaardigheden zoals onderzoek en opstellen. Dat maakt vergelijkingen met AI mogelijk informatiever. Of modellen tests kunnen doorstaan, staat grotendeels vast. De open vraag is hoe betrouwbaar ze presteren, en hoe ze falen, in onbekende echte zaken.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Grote taalmodellen zoals GPT-4 hebben boven de typische slaglijnen gescoord op gesimuleerde versies van het Uniform Bar Exam. Het bekendste cijfer is ongeveer 298 van de 400, gerapporteerd in 2023. Deze resultaten laten zien dat modellen overweg kunnen met het geschreven, regels-zware format van een licentietest. Ze meten de testprestaties onder bepaalde beoordelings- en vergelijkingskeuzes, niet het volledige oordeel dat een praktiserende advocaat nodig heeft.
De MBE is het meerkeuzegedeelte met 200 vragen en vormt 50 procent van de UBE-score. De MEE bestaat uit zes essays en de MPT bestaat uit twee taken met gesloten bestanden.
OpenAI rapporteerde grofweg 298 van de 400. Dat is boven het bereik van 260 tot 270 dat gebruikelijk is in rechtsgebieden, en ging gepaard met een percentiel in de buurt van de 90e.
In de februarigroep zit een groot deel van de mensen die het examen opnieuw afleggen nadat ze zijn gezakt. Vergeleken met de starters in juli schat Martínez dat GPT-4 in totaal rond het 60e percentiel is gedaald.
De essays werden beoordeeld door de auteurs van het onderzoek aan de hand van gepubliceerde voorbeeldantwoorden, niet door getrainde barbeoordelaars. Martínez merkte op dat dit onzekerheid toevoegt aan de partituren van de geschreven secties.
GPT-3.5 had ongeveer de helft van de vragen goed. Dat is ruim boven de 25 procent die wordt verwacht bij het raden van vragen met vier opties, maar onder het voldoende niveau.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
AI-recensiesamenvattingen op productpagina's
Taal AI