Taal AI-GIDS

Hallucinatiepercentages in juridische AI-tools

Onafhankelijke tests hebben uitgewezen dat juridische AI-onderzoeksinstrumenten die zijn gebaseerd op retrieval-augmentedgeneration (RAG) nog steeds een aanzienlijk deel van de tijd onjuiste of niet-ondersteunde antwoorden geven.

Luister naar deze gidsAI-verteld · ~3 min

Op deze pagina4 minuten lezen
  1. Overzicht
  2. Diepe duik
  3. Implementatie in de echte wereld
  4. De toekomst van hallucinatiepercentages in juridische AI-tools
  5. Het in de praktijk brengen
  6. Blijf verkennen
  7. Veelgestelde vragen

Overzicht

Een onderzoek van Stanford uit 2024 vond hallucinaties in meer dan één op de zes zoekopdrachten, zelfs voor het best presterende commerciële hulpmiddel. Het is van belang omdat verkopers deze hulpmiddelen op de markt brachten om hallucinaties te vermijden, en advocaten die erop vertrouwen nog steeds verantwoordelijk zijn voor elke aanhaling die zij indienen.

Diepe duik

Twee aan Stanford gelieerde onderzoeken vormden het debat. De eerste, "Large Legal Fictions" (2024), door Matthew Dahl, Varun Magesh, Mirac Suzgun en Daniel Ho, testte chatbots voor algemeen gebruik op verifieerbare vragen over federale rechtszaken. Het vond een hallucinatiepercentage tussen 69 en 88 procent op die vragen. Modellen hadden ook de neiging om valse premissen te accepteren die in de vragen waren ingebouwd. Commerciële juridische verkopers voerden aan dat hun tools dit probleem omzeilden door middel van ophaal-verbeterde generatie, waardoor antwoorden in echte juridische databases worden gefundeerd. Sommige marketing gebruikte uitdrukkingen als 'vrij van hallucinaties'. In 2024 testten onderzoekers van Stanford's RegLab en Institute for Human-Centered AI deze bewering in een onderzoek met de titel "Hallucination-Free?" Ze voerden meer dan 200 juridische vragen uit via Lexis+ AI, Westlaw AI-Assisted Research en Ask Practical Law AI, met GPT-4 als vergelijking. Ze beschouwden een antwoord als een hallucinatie als het onjuist of verkeerd gegrond was. Verkeerd gefundeerd betekent dat er een echte bron wordt aangehaald die de bewering niet ondersteunt. Lexis+ AI presteerde het beste, maar hallucineerde nog steeds bij ruim 17 procent van de zoekopdrachten. Westlaws gereedschap hallucineerde op ongeveer een derde. Vraag Praktisch Recht AI gaf vaak onvolledige antwoorden. Een vroege versie van het artikel werd bekritiseerd omdat de onderzoekers aanvankelijk geen toegang hadden tot de onderzoekstool van Westlaw; ze testten het later en herzagen het papier. Ophalen vermindert fouten, maar verwijdert ze niet, om verschillende redenen. De retriever kan documenten vinden die woorden delen met de zoekopdracht, maar die juridisch niet relevant zijn. Het kan zijn dat het de controlerende autoriteit over het hoofd ziet, of een zaak uit het verkeerde rechtsgebied haalt, of een achterhaalde versie van een regel gebruikt. Het model kan dan de opgehaalde informatie verkeerd interpreteren of negeren, bronnen samenvoegen of instemmen met een onjuiste premisse. Een veel voorkomende misvatting is dat een correct ogend citaat een correct antwoord betekent. De verkeerd gegronde categorie laat zien dat een echt citaat een valse claim kan ondersteunen.

Implementatie in de echte wereld

Een medewerker vraagt ​​aan een onderzoeksinstrument waarom een ​​rechtbank op een bepaalde manier oordeelde in een zaak die juist de andere kant op liep. De tool accepteert de valse premisse en legt de verzonnen uitspraak uit, onder verwijzing naar een echte mening.

Een tool retourneert een echte beroepszaak met een nauwkeurige bronvermelding voor een voorstel waar de zaak nooit op ingaat. Dit is een 'verkeerd gefundeerd' antwoord dat betrouwbaar lijkt totdat iemand de mening leest.

Een onderzoeksinstrument citeert een besluit dat later werd teruggedraaid, omdat het de oudere mening ophaalde en de latere geschiedenis ervan niet controleerde.

Een juridische afdeling test twee leveranciers op een eigen set van 100 vragen met bekende antwoorden. Het registreert of elke citatie bestaat, of deze de claim ondersteunt en of het antwoord compleet is.

De toekomst van hallucinatiepercentages in juridische AI-tools

Leveranciers hebben hun producten sinds de onderzoeken uit 2024 bijgewerkt, dus specifieke foutpercentages beschrijven mogelijk niet de huidige versies. Dat is de reden waarom herhaalde onafhankelijke tests belangrijker zijn dan welk enkel getal dan ook. Benchmarkinspanningen door derden en door advocatenkantoren zelf worden steeds gebruikelijker. Betere citators, workflows in agentstijl die hun eigen citaten controleren en een sterkere basis kunnen het aantal fouten verminderen. Uit niets tot nu toe blijkt dat het terughalen ze volledig zal verwijderen. Rechtbanken blijven dossiers zien met verzonnen of verkeerd weergegeven autoriteit, en sommige hebben sancties opgelegd. In de nabije toekomst blijft menselijke beoordeling van elke genoemde autoriteit een professionele verplichting, wat een verkoper ook beweert.

Het in de praktijk brengen

Waarom het ertoe doet

  • Snelheid en schaal. Taalworkflows kunnen sneller verlopen zonder dat dit ten koste gaat van de consistentie.
  • Toegang en bereik. Het breidt de toegang uit naar meerdere talen en communicatiestijlen.
  • Duidelijkere beslissingen. Teams kunnen meer tijd besteden aan beoordeling, terwijl automatisering de herhaling afhandelt.

Pas op voor

  • Gehallucineerde feiten kunnen stilletjes rapporten binnendringen, stromen ondersteunen of onderzoeksresultaten opleveren.
  • Gevoeligheid voor prompts kan inconsistente resultaten opleveren voor vergelijkbare verzoeken.
  • Gevoelige tekstgegevens kunnen openbaar worden gemaakt als de toegangscontroles zwak zijn.

Volgende stappen

  1. Definieer het uitvoerformaat, de toon en de kwaliteitsnormen vóór de implementatie.
  2. Grondreacties met vertrouwde bronnen wanneer nauwkeurigheid belangrijk is.
  3. Houd een menselijk controlepunt bij voor resultaten met een hoge inzet.
  4. Houd faalpatronen bij en train prompts of workflows regelmatig opnieuw.

Blijf verkennen

Gratis nieuwsbrief

Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.

Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.

Test jezelf

Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.

Quiz starten

Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie

Veelgestelde vragen

Wat zijn hallucinatiepercentages in juridische AI-tools?

Onafhankelijke tests hebben uitgewezen dat juridische AI-onderzoeksinstrumenten die zijn gebaseerd op retrieval-augmentedgeneration (RAG) nog steeds een aanzienlijk deel van de tijd onjuiste of niet-ondersteunde antwoorden geven. Een onderzoek van Stanford uit 2024 vond hallucinaties in meer dan één op de zes zoekopdrachten, zelfs voor het best presterende commerciële hulpmiddel. Het is van belang omdat verkopers deze hulpmiddelen op de markt brachten om hallucinaties te vermijden, en advocaten die erop vertrouwen nog steeds verantwoordelijk zijn voor elke aanhaling die zij indienen.

Hoe was de Stanford "Hallucinatievrij?" studie een hallucinatie definiëren?

Het onderzoek telde twee soorten fouten: uitspraken die onjuist zijn, en uitspraken die worden ondersteund door een citaat dat ze niet daadwerkelijk ondersteunt.

Wat is, in de termen van het Stanford-onderzoek, een ‘verkeerd gefundeerd’ antwoord?

Een verkeerd gefundeerd antwoord wijst op een echte autoriteit, maar die autoriteit ondersteunt niet wat het antwoord zegt. Hierdoor lijkt het betrouwbaarder dan het is.

Welke tool presteerde het beste in de Stanford-test van 2024, maar hallucineerde nog steeds bij meer dan 17 procent van de zoekopdrachten?

Lexis+ AI had de beste resultaten, maar hallucineerde nog steeds bij ruim 17 procent van de zoekopdrachten. Westlaws gereedschap hallucineerde op ongeveer een derde.

Welk hallucinatiebereik vond 'Large Legal Fictions' voor algemene chatbots over verifieerbare vragen van de federale rechtbank?

Uit het onderzoek bleek dat algemene chatbots tussen 69 en 88 procent van de tijd hallucineerden op deze specifieke, verifieerbare vragen.

Waarom kan een ophaalstap de verkeerde autoriteit vinden, zelfs als de database de juiste bevat?

Retrievers scoren nabijheid in bewoording of betekenis. Een afwijkende mening, een samenvatting van het argument van de andere partij, of een zaak uit de verkeerde jurisdictie kunnen hoog scoren zonder een controlerende autoriteit te zijn.