Jazyk AI GUIDE
Míra halucinací v právních AI nástrojích
Nezávislé testování zjistilo, že právní výzkumné nástroje založené na retrieval‑augmented generation (RAG) stále poskytují nesprávné nebo nepodložené odpovědi v podstatném podílu případů.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Na této stránce4 min čtení
Přehled
Studie Stanfordu z roku 2024 zjistila halucinace v více než jednom z šesti dotazů i u nejvýkonnějšího komerčního nástroje. Má to význam, protože prodejci tyto nástroje propagovali jako bezhalucinace a právníci, kteří se na ně spoléhají, jsou stále odpovědní za každou citaci, kterou podají.
Hluboký ponor
Two Stanford-affiliated studies shaped the debate. The first, "Large Legal Fictions" (2024), by Matthew Dahl, Varun Magesh, Mirac Suzgun and Daniel Ho, tested general-purpose chatbots on verifiable questions about federal court cases. It found hallucination rates between 69 and 88 percent on those questions. Models also tended to accept false premises built into the questions. Commercial legal vendors argued that their tools avoided this problem through retrieval-augmented generation, which grounds answers in real legal databases. Some marketing used phrases such as "hallucination-free." In 2024, researchers at Stanford's RegLab and Institute for Human-Centered AI tested that claim in a study titled "Hallucination-Free?" They ran more than 200 legal queries through Lexis+ AI, Westlaw AI-Assisted Research and Ask Practical Law AI, with GPT-4 as a comparison. They counted an answer as a hallucination if it was either incorrect or misgrounded. Misgrounded means it cited a real source that does not support the claim. Lexis+ AI performed best, yet still hallucinated on more than 17 percent of queries. Westlaw's tool hallucinated on roughly a third. Ask Practical Law AI often gave incomplete answers. An early version of the paper was criticized because the researchers first lacked access to Westlaw's research tool; they later tested it and revised the paper. Retrieval reduces errors but does not remove them, for several reasons. The retriever may find documents that share words with the query but are not legally relevant. It may miss the controlling authority, or pull a case from the wrong jurisdiction or a superseded version of a rule. The model may then misread or ignore what was retrieved, blend sources together, or go along with a false premise. A common misconception is that a correct-looking citation means a correct answer. The misgrounded category shows that a real citation can support a false claim.
Real-World Implementace
Spolupracovník se výzkumným nástrojem zeptá, proč soud rozhodl určitým způsobem v případu, který ve skutečnosti rozhodl jinak. Nástroj přijme nepravdivý předpoklad a vysvětlí vymyšlené rozhodnutí, přičemž cituje skutečný názor.
Nástroj vrátí skutečný odvolací případ s přesnou citací pro tvrzení, které případ vůbec neřeší. Jedná se o „misgrounded“ odpověď, která vypadá důvěryhodně, dokud si někdo nepřečte rozhodnutí.
Výzkumný nástroj cituje rozhodnutí, které bylo později zrušeno, protože načetl starší názor a nezkontroloval jeho pozdější historii.
Právní oddělení testuje dva dodavatele na vlastní sadě 100 otázek se známými odpovědmi. Zaznamenává, zda každá citace existuje, zda podporuje tvrzení a zda je odpověď úplná.
Budoucnost míry halucinací v právních AI nástrojích
Prodejci aktualizovali své produkty od studií z roku 2024, takže konkrétní míry chyb nemusí popisovat aktuální verze. Proto je opakované nezávislé testování důležitější než jakékoliv jediné číslo. Úsilí o benchmarking ze strany třetích stran i právnických firem se stává častějším. Lepší citátory, pracovní postupy ve stylu agenta, které kontrolují vlastní citace, a silnější základní znalosti mohou snížit chyby. Dosud nic neukazuje, že by vyhledávání je úplně odstranilo. Soudy stále vidí podání s vyfalsifikovanou nebo zkreslenou autoritou a někteří z nich uvalili sankce. V přibližné budoucnosti zůstává lidské přezkoumání každé citované autority profesionální povinností, bez ohledu na to, co prohlásí prodejce.
Uvedení do praxe
Proč na tom záleží
- Rychlost a měřítko. Jazykové pracovní postupy se mohou pohybovat rychleji, aniž by byla obětována konzistentnost.
- Přístup a dosah. Rozšiřuje přístup napříč jazyky a komunikačními styly.
- Jasnější rozhodnutí. Týmy mohou strávit více času úsudkem, zatímco automatizace zvládne opakování.
Pozor na
- Halucinovaná fakta mohou tiše vstupovat do zpráv, podpůrných toků nebo výstupů výzkumu.
- Citlivost na výzvy může způsobit nekonzistentní výsledky napříč podobnými požadavky.
- Citlivá textová data mohou být vystavena, pokud je řízení přístupu slabé.
Další kroky
- Před zavedením definujte výstupní formát, tón a standardy kvality.
- Pozemní reakce s důvěryhodnými zdroji, kdykoli záleží na přesnosti.
- Udržujte kontrolní bod lidské kontroly pro vysoce důležité výstupy.
- Sledujte vzorce selhání a pravidelně opakujte výzvy nebo pracovní postupy.
Pokračujte v objevování
Newsletter zdarma
Získejte denní přehled o AI
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Zkuste kvíz Hallucination Rates in Legal AI Tools
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Často kladené otázky
Co jsou Hallucination Rates in Legal AI Tools?
Nezávislé testování zjistilo, že nástroje pro právní výzkum založené na generování s podporou vyhledávání (RAG) stále dávají nepřesné nebo nepodložené odpovědi významnou částí času. Studie Stanfordu z roku 2024 zjistila halucinace u více než jedné ze šesti dotazů i u nejvýkonnějšího komerčního nástroje. Je to důležité, protože prodejci tyto nástroje propagovali jako bez halucinací, a právníci, kteří na nich spoléhají, jsou stále odpovědní za každou citaci, kterou podávají.
Jak Stanfordská studie "Hallucination-Free?" definovala halucinaci?
Studie počítala dva typy chyb: prohlášení, která jsou nesprávná, a prohlášení podložená citací, která je ve skutečnosti nepodporuje.
Jaký je podle studie Stanfordu pojem „nesprávně podložená“ odpověď?
Nesprávně podložená odpověď odkazuje na skutečnou autoritu, ale tato autorita nepodporuje to, co odpověď tvrdí. To ji činí důvěryhodnější, než ve skutečnosti je.
Který nástroj dosáhl nejlepšího výsledku v testu Stanfordu 2024, ale přesto halucinoval u více než 17 % dotazů?
Lexis+ AI měl nejlepší výsledky, ale přesto halucinoval u více než 17 % dotazů. Nástroj Westlaw halucinoval zhruba u jedné třetiny.
Jaký rozsah halucinací zjistil „Large Legal Fictions“ u obecně zaměřených chatbotů na ověřitelných otázkách federálních soudů?
Studie zjistila, že obecné chatboty halucinovaly mezi 69 % a 88 % případů u těchto konkrétních, ověřitelných otázek.
Proč může krok vyhledávání najít nesprávnou autoritu, i když databáze obsahuje tu správnou?
Vyhledávače hodnotí blízkost ve formulaci nebo významu. Nesouhlas, souhrn argumentu protistrany nebo případ z nesprávné jurisdikce může být hodnocen vysoko, aniž by byl rozhodující autoritou.
Učte se dál
Související průvodci
Pro toto téma bylo vybráno více průvodců