Gids-gekoppelde quiz · Moeilijk Niveau

Hallucinatiepercentages in de quiz over juridische AI-hulpmiddelen

Test hoe de Stanford-onderzoeken legale AI-hallucinaties definieerden en maten, wat verkeerd gegronde antwoorden zijn en waarom het genereren van ophaalmogelijkheden nog steeds mislukt.

Vraag 1 van 8

Hoe was de Stanford "Hallucinatievrij?" studie een hallucinatie definiëren?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Hoe was de Stanford "Hallucinatievrij?" studie een hallucinatie definiëren?
    • Elk antwoord dat langer is dan het brondocument
    • Een antwoord dat onjuist of verkeerd gegrond is
    • Slechts een verwijzing naar een zaak die niet bestaat
    • Elk antwoord kostte de tool meer dan een minuut om te produceren
  2. Wat is, in de termen van het Stanford-onderzoek, een ‘verkeerd gefundeerd’ antwoord?
    • Een antwoord dat weigert te reageren
    • Een antwoord geschreven in de verkeerde taal
    • Een antwoord zonder enige citaten
    • Een antwoord dat een echte bron citeert die zijn bewering niet ondersteunt
  3. Welke tool presteerde het beste in de Stanford-test van 2024, maar hallucineerde nog steeds bij meer dan 17 procent van de zoekopdrachten?
    • Lexis+AI
    • Westlaw AI-ondersteund onderzoek
    • Vraag Praktisch Recht AI
    • GPT-4 gebruikt als vergelijking
  4. Welk hallucinatiebereik vond 'Large Legal Fictions' voor algemene chatbots over verifieerbare vragen van de federale rechtbank?
    • 1 tot 3 procent
    • 17 tot 33 procent
    • 69 tot 88 procent
    • 95 tot 100 procent
  5. Waarom kan een ophaalstap de verkeerde autoriteit vinden, zelfs als de database de juiste bevat?
    • Juridische databanken zijn gecodeerd en kunnen niet worden doorzocht
    • Ophalen werkt alleen voor statuten, niet voor zaken
    • Retrieval rangschikt documenten alfabetisch
    • Ophalen komt overeen met vergelijkbare bewoordingen of betekenissen, wat niet hetzelfde is als juridische relevantie
  6. Welke tendens kwam uit het onderzoek naar voren als vragen een onjuiste premisse bevatten?
    • Modellen hadden de neiging de premisse te aanvaarden en te antwoorden alsof deze waar was
    • Modellen corrigeerden altijd de premisse
    • Modellen weigerden al dergelijke vragen
    • Modellen antwoordden alleen met de tekst van het relevante statuut
  7. Welke beperking helpt specifiek bij het markeren van een geciteerde zaak die later werd teruggedraaid of overruled?
    • De temperatuurinstelling van het model verhogen
    • Antwoorden korter maken
    • Het vertalen van de vraag naar een andere taal
    • Aansluiten van een citator zoals KeyCite of Shepard's
  8. Welke marketingclaim werd door de titel van het Stanford-onderzoek rechtstreeks in twijfel getrokken?
    • Dat legale AI-tools goedkoper waren dan paralegals
    • Dat sommige hulpmiddelen ‘vrij van hallucinaties’ waren
    • Die legale AI zou het balie-examen kunnen halen
    • Dat AI-tools door rechtbanken zijn goedgekeurd