Gids-gekoppelde quiz · Moeilijk Niveau
Hallucinatiepercentages in de quiz over juridische AI-hulpmiddelen
Test hoe de Stanford-onderzoeken legale AI-hallucinaties definieerden en maten, wat verkeerd gegronde antwoorden zijn en waarom het genereren van ophaalmogelijkheden nog steeds mislukt.
Vraag 1 van 8
Hoe was de Stanford "Hallucinatievrij?" studie een hallucinatie definiëren?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Hoe was de Stanford "Hallucinatievrij?" studie een hallucinatie definiëren?
- Elk antwoord dat langer is dan het brondocument
- Een antwoord dat onjuist of verkeerd gegrond is
- Slechts een verwijzing naar een zaak die niet bestaat
- Elk antwoord kostte de tool meer dan een minuut om te produceren
- Wat is, in de termen van het Stanford-onderzoek, een ‘verkeerd gefundeerd’ antwoord?
- Een antwoord dat weigert te reageren
- Een antwoord geschreven in de verkeerde taal
- Een antwoord zonder enige citaten
- Een antwoord dat een echte bron citeert die zijn bewering niet ondersteunt
- Welke tool presteerde het beste in de Stanford-test van 2024, maar hallucineerde nog steeds bij meer dan 17 procent van de zoekopdrachten?
- Lexis+AI
- Westlaw AI-ondersteund onderzoek
- Vraag Praktisch Recht AI
- GPT-4 gebruikt als vergelijking
- Welk hallucinatiebereik vond 'Large Legal Fictions' voor algemene chatbots over verifieerbare vragen van de federale rechtbank?
- 1 tot 3 procent
- 17 tot 33 procent
- 69 tot 88 procent
- 95 tot 100 procent
- Waarom kan een ophaalstap de verkeerde autoriteit vinden, zelfs als de database de juiste bevat?
- Juridische databanken zijn gecodeerd en kunnen niet worden doorzocht
- Ophalen werkt alleen voor statuten, niet voor zaken
- Retrieval rangschikt documenten alfabetisch
- Ophalen komt overeen met vergelijkbare bewoordingen of betekenissen, wat niet hetzelfde is als juridische relevantie
- Welke tendens kwam uit het onderzoek naar voren als vragen een onjuiste premisse bevatten?
- Modellen hadden de neiging de premisse te aanvaarden en te antwoorden alsof deze waar was
- Modellen corrigeerden altijd de premisse
- Modellen weigerden al dergelijke vragen
- Modellen antwoordden alleen met de tekst van het relevante statuut
- Welke beperking helpt specifiek bij het markeren van een geciteerde zaak die later werd teruggedraaid of overruled?
- De temperatuurinstelling van het model verhogen
- Antwoorden korter maken
- Het vertalen van de vraag naar een andere taal
- Aansluiten van een citator zoals KeyCite of Shepard's
- Welke marketingclaim werd door de titel van het Stanford-onderzoek rechtstreeks in twijfel getrokken?
- Dat legale AI-tools goedkoper waren dan paralegals
- Dat sommige hulpmiddelen ‘vrij van hallucinaties’ waren
- Die legale AI zou het balie-examen kunnen halen
- Dat AI-tools door rechtbanken zijn goedgekeurd