Taal AI-GIDS

Hoe AI presteert op het balie-examen

Grote taalmodellen zoals GPT-4 hebben boven de typische slaglijnen gescoord op gesimuleerde versies van het Uniform Bar Exam.

Luister naar deze gidsAI-verteld · ~3 min

Op deze pagina4 minuten lezen
  1. Overzicht
  2. Diepe duik
  3. Implementatie in de echte wereld
  4. De toekomst van hoe AI presteert op het balie-examen
  5. Het in de praktijk brengen
  6. Blijf verkennen
  7. Veelgestelde vragen

Overzicht

Het bekendste cijfer is ongeveer 298 van de 400, gerapporteerd in 2023. Deze resultaten laten zien dat modellen overweg kunnen met het geschreven, regels-zware format van een licentietest. Ze meten de testprestaties onder bepaalde beoordelings- en vergelijkingskeuzes, niet het volledige oordeel dat een praktiserende advocaat nodig heeft.

Diepe duik

The Uniform Bar Exam (UBE) has three parts. The Multistate Bar Examination (MBE) has 200 multiple-choice questions and counts for half the score. The Multistate Essay Examination (MEE) has six essays. The Multistate Performance Test (MPT) has two tasks in which the examinee works from a closed file of facts and law to write a memo or brief. Scores run to 400, and each jurisdiction sets its own passing line, commonly between 260 and 270. In late 2022, Michael Bommarito and Daniel Martin Katz tested GPT-3.5 on MBE practice questions. It answered about half correctly: well above chance, but below passing. In March 2023, Katz, Bommarito, Shang Gao and Pablo Arredondo reported that GPT-4 scored about 297 on a full simulated UBE. OpenAI's GPT-4 technical report cited roughly 298 and a percentile near the 90th. The percentile drew the sharpest criticism. In a 2024 paper in the journal Artificial Intelligence and Law, Eric Martínez showed that the 90th-percentile figure was based on February test takers. The February group includes an unusually large share of people retaking the exam after failing. Compared with first-time July takers, his estimate fell to around the 60th percentile, and lower on the essays. He also noted that the essays were scored by the researchers against published sample answers, not by trained bar graders, which adds uncertainty. Contamination is another concern: past questions circulate online and may have been in the training data. A common misconception is that passing the bar means a model can practice law. The exam tests recall of rules and structured analysis within a closed set of facts. Practice also requires investigating facts, counseling clients, planning strategy, judging risk and taking professional responsibility. In Mata v. Avianca (2023), lawyers filed a brief containing citations that ChatGPT had invented. The case showed that exam-level fluency does not guarantee reliable legal research.

Implementatie in de echte wereld

Het GPT-4 technisch rapport van maart 2023 van OpenAI vermeldde een gesimuleerde Uniform Bar Exam-score van ongeveer 298 van de 400 en een percentiel nabij de 90e, een cijfer dat vervolgens breed werd herhaald in de krantenkoppen.

Een rechtenprofessor loopt langs meerkeuzevragen in MBE-stijl via een chatbot en vergelijkt de antwoorden met die van haar studenten. Het model is sterk op het gebied van zwarte-letterregels, maar minder betrouwbaar als de feiten opzettelijk dubbelzinnig zijn.

Een evaluator controleert of een oefenvraag online is geplaatst vóór de trainingsonderbreking van een model. Een model dat de vraag al heeft gezien, herinnert zich mogelijk een antwoord in plaats van er naar te redeneren.

Een balie-aanvrager gebruikt een AI-docent om de MBE-vragen uit te leggen die ze heeft gemist. Ze toetst elke uitleg aan een commerciële schets, omdat de docent soms een minderheidsregel als meerderheidsregel presenteert.

De toekomst van hoe AI presteert op het balie-examen

Staafscores worden steeds minder bruikbaar als benchmark. Topmodellen scoren al bijna aan het plafond op juridische meerkeuzevraagstukken, en besmetting is moeilijk uit te sluiten. Onderzoekers zijn overgestapt op taakverzamelingen zoals LegalBench, een gezamenlijke benchmark die in 2023 werd uitgebracht en die juridisch redeneren opsplitst in veel kleinere taken. Ze zijn ook overgegaan op tests die zijn gebaseerd op echt werk, zoals onderzoeksmemo's en contractbeoordeling, beoordeeld door praktiserende advocaten. Het NextGen-bar-examen van de NCBE, gepland voor 2026, geeft meer gewicht aan geïntegreerde vaardigheden zoals onderzoek en opstellen. Dat maakt vergelijkingen met AI mogelijk informatiever. Of modellen tests kunnen doorstaan, staat grotendeels vast. De open vraag is hoe betrouwbaar ze presteren, en hoe ze falen, in onbekende echte zaken.

Het in de praktijk brengen

Waarom het ertoe doet

  • Snelheid en schaal. Taalworkflows kunnen sneller verlopen zonder dat dit ten koste gaat van de consistentie.
  • Toegang en bereik. Het breidt de toegang uit naar meerdere talen en communicatiestijlen.
  • Duidelijkere beslissingen. Teams kunnen meer tijd besteden aan beoordeling, terwijl automatisering de herhaling afhandelt.

Pas op voor

  • Gehallucineerde feiten kunnen stilletjes rapporten binnendringen, stromen ondersteunen of onderzoeksresultaten opleveren.
  • Gevoeligheid voor prompts kan inconsistente resultaten opleveren voor vergelijkbare verzoeken.
  • Gevoelige tekstgegevens kunnen openbaar worden gemaakt als de toegangscontroles zwak zijn.

Volgende stappen

  1. Definieer het uitvoerformaat, de toon en de kwaliteitsnormen vóór de implementatie.
  2. Grondreacties met vertrouwde bronnen wanneer nauwkeurigheid belangrijk is.
  3. Houd een menselijk controlepunt bij voor resultaten met een hoge inzet.
  4. Houd faalpatronen bij en train prompts of workflows regelmatig opnieuw.

Blijf verkennen

Gratis nieuwsbrief

Ontvang de dagelijkse AI-briefing

Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.

Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.

Test jezelf

Doe de quiz Hoe AI presteert op de balie-examen

Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.

Quiz starten

Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie

Veelgestelde vragen

Wat is hoe AI presteert op het balie-examen?

Grote taalmodellen zoals GPT-4 hebben boven de typische slaglijnen gescoord op gesimuleerde versies van het Uniform Bar Exam. Het bekendste cijfer is ongeveer 298 van de 400, gerapporteerd in 2023. Deze resultaten laten zien dat modellen overweg kunnen met het geschreven, regels-zware format van een licentietest. Ze meten de testprestaties onder bepaalde beoordelings- en vergelijkingskeuzes, niet het volledige oordeel dat een praktiserende advocaat nodig heeft.

Welk onderdeel van het Uniform Bar Examen heeft 200 meerkeuzevragen en telt mee voor de helft van de totaalscore?

De MBE is het meerkeuzegedeelte met 200 vragen en vormt 50 procent van de UBE-score. De MEE bestaat uit zes essays en de MPT bestaat uit twee taken met gesloten bestanden.

Welke gesimuleerde Uniform Bar Exam-score werd genoemd in het technische rapport GPT-4 van OpenAI in 2023?

OpenAI rapporteerde grofweg 298 van de 400. Dat is boven het bereik van 260 tot 270 dat gebruikelijk is in rechtsgebieden, en ging gepaard met een percentiel in de buurt van de 90e.

According to Eric Martínez's 2024 critique, why was GPT-4's 90th-percentile figure misleading?

In de februarigroep zit een groot deel van de mensen die het examen opnieuw afleggen nadat ze zijn gezakt. Vergeleken met de starters in juli schat Martínez dat GPT-4 in totaal rond het 60e percentiel is gedaald.

Wie beoordeelde de essay-antwoorden van GPT-4 op het gesimuleerde bar-examen van 2023, volgens de kritiek die in de gids wordt beschreven?

De essays werden beoordeeld door de auteurs van het onderzoek aan de hand van gepubliceerde voorbeeldantwoorden, niet door getrainde barbeoordelaars. Martínez merkte op dat dit onzekerheid toevoegt aan de partituren van de geschreven secties.

Wat ontdekten Bommarito en Katz toen ze eind 2022 GPT-3.5 testten op MBE-oefenvragen?

GPT-3.5 had ongeveer de helft van de vragen goed. Dat is ruim boven de 25 procent die wordt verwacht bij het raden van vragen met vier opties, maar onder het voldoende niveau.