Nyelvi AI ÚTMUTATÓ

Hallucinációk aránya a jogi mesterséges intelligencia eszközökben

Független tesztelés kimutatta, hogy az AI jogi kutatási eszközei, amelyek a retrieval-augmented generációra (RAG) épülnek, még mindig jelentős részben helytelen vagy nem támogatott válaszokat adnak.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon4 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A hallucinációs ráták jövője a jogi AI-eszközökben
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Egy 2024-es stanfordi tanulmány hallucinációkat talált több mint hatodik lekérdezésben, még a legjobban teljesítő kereskedelmi eszközök esetében is. Ez azért fontos, mert a gyártók ezeket az eszközöket a hallucinációk elkerüléseként hirdették, és a rájuk támaszkodó ügyvédek továbbra is felelősek minden általuk benyújtott idézetért.

Mély merülés

Two Stanford-affiliated studies shaped the debate. The first, "Large Legal Fictions" (2024), by Matthew Dahl, Varun Magesh, Mirac Suzgun and Daniel Ho, tested general-purpose chatbots on verifiable questions about federal court cases. It found hallucination rates between 69 and 88 percent on those questions. Models also tended to accept false premises built into the questions. Commercial legal vendors argued that their tools avoided this problem through retrieval-augmented generation, which grounds answers in real legal databases. Some marketing used phrases such as "hallucination-free." In 2024, researchers at Stanford's RegLab and Institute for Human-Centered AI tested that claim in a study titled "Hallucination-Free?" They ran more than 200 legal queries through Lexis+ AI, Westlaw AI-Assisted Research and Ask Practical Law AI, with GPT-4 as a comparison. They counted an answer as a hallucination if it was either incorrect or misgrounded. Misgrounded means it cited a real source that does not support the claim. Lexis+ AI performed best, yet still hallucinated on more than 17 percent of queries. Westlaw's tool hallucinated on roughly a third. Ask Practical Law AI often gave incomplete answers. An early version of the paper was criticized because the researchers first lacked access to Westlaw's research tool; they later tested it and revised the paper. Retrieval reduces errors but does not remove them, for several reasons. The retriever may find documents that share words with the query but are not legally relevant. It may miss the controlling authority, or pull a case from the wrong jurisdiction or a superseded version of a rule. The model may then misread or ignore what was retrieved, blend sources together, or go along with a false premise. A common misconception is that a correct-looking citation means a correct answer. The misgrounded category shows that a real citation can support a false claim.

Valós megvalósítás

Egy munkatárs megkérdezi egy kutatási eszközt, hogy a bíróság miért döntött egy bizonyos módon egy olyan ügyben, amely valójában ellenkező irányba ment. Az eszköz elfogadja a hamis feltevést, és valós véleményre hivatkozva megmagyarázza a kitalált ítéletet.

Az eszköz valódi fellebbezési esetet ad vissza pontos idézettel egy olyan javaslatra, amelyre az eset soha nem vonatkozik. Ez egy „tévesen megalapozott” válasz, amely megbízhatónak tűnik, amíg valaki el nem olvassa a véleményt.

Egy kutatási eszköz egy döntésre hivatkozik, amelyet később megfordítottak, mert visszakereste a régebbi véleményt, és nem ellenőrizte annak későbbi történetét.

Egy jogi osztály két szállítót tesztel a saját 100 kérdésből álló, ismert válaszokkal rendelkező készletén. Rögzíti, hogy az egyes hivatkozások léteznek-e, alátámasztják-e az állítást, és hogy a válasz teljes-e.

A hallucinációs ráták jövője a jogi AI-eszközökben

A szállítók a 2024-es tanulmányok óta frissítették termékeiket, így előfordulhat, hogy a konkrét hibaarányok nem írják le a jelenlegi verziókat. Ez az oka annak, hogy az ismételt független tesztelés minden egyes számnál fontosabb. Egyre gyakoribbak a harmadik felek és maguk az ügyvédi irodák teljesítményértékelési erőfeszítései. A jobb idézők, a saját idézeteiket ellenőrző ügynök-stílusú munkafolyamatok és az erősebb alapozás csökkentheti a hibákat. Eddig semmi sem mutatja, hogy a visszakeresés teljesen eltávolítja őket. A bíróságok továbbra is találkoznak a koholt vagy megtévesztő felhatalmazással rendelkező beadványokkal, és néhányan szankciókat is kiszabtak. A belátható jövőben minden hivatkozott hatóság emberi felülvizsgálata szakmai kötelezettség marad, bármit is állítson az eladó.

A gyakorlatba ültetés

Miért számít

  • Sebesség és méretarány. A nyelvi munkafolyamatok gyorsabban haladhatnak a következetesség feláldozása nélkül.
  • Hozzáférés és elérés. Kibővíti a hozzáférést a nyelvek és a kommunikációs stílusok között.
  • Tisztább döntések. A csapatok több időt tölthetnek az ítélkezéssel, míg az automatizálás kezeli az ismétlést.

Vigyázz

  • A hallucinált tények csendben bekerülhetnek a jelentésekbe, a támogatási folyamatokba vagy a kutatási eredményekbe.
  • Az azonnali érzékenység inkonzisztens eredményeket eredményezhet a hasonló kérések között.
  • Ha a hozzáférés-szabályozás gyenge, az érzékeny szöveges adatok megjelenhetnek.

Következő lépések

  1. A kiadás előtt határozza meg a kimeneti formátumot, hangszínt és minőségi szabványokat.
  2. Földelje a válaszokat megbízható forrásokból, amikor a pontosság számít.
  3. Tartson emberi ellenőrzési pontot a nagy tétű kimenetekhez.
  4. Kövesse nyomon a meghibásodási mintákat, és rendszeresen tanítsa át az utasításokat vagy a munkafolyamatokat.

Folytassa a felfedezést

Ingyenes hírlevél

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mit jelent a hallucinációk aránya a jogi AI-eszközökben?

Független tesztelés kimutatta, hogy az AI jogi kutatási eszközei, amelyek a retrieval-augmented generációra (RAG) épülnek, még mindig jelentős részben helytelen vagy nem támogatott válaszokat adnak. Egy 2024-es stanfordi tanulmány hallucinációkat talált több mint hatodik lekérdezésben, még a legjobban teljesítő kereskedelmi eszközök esetében is. Ez azért fontos, mert a gyártók ezeket az eszközöket a hallucinációk elkerüléseként hirdették, és a rájuk támaszkodó ügyvédek továbbra is felelősek minden általuk benyújtott idézetért.

Hogyan sikerült a Stanford "hallucinációmentes"? tanulmány meghatározza a hallucinációt?

A tanulmány kétféle hibát számolt: a hibás állításokat és azokat az állításokat, amelyeket az idézettel alátámaszt, amely valójában nem támasztja alá azokat.

A Stanford-tanulmány értelmében mit jelent a „téves” válasz?

A téves válasz valódi tekintélyre utal, de ez a tekintély nem támasztja alá azt, amit a válasz mond. Így megbízhatóbbnak tűnik, mint amilyen.

Melyik eszköz teljesített a legjobban a 2024-es Stanford-tesztben, de még mindig hallucinált a lekérdezések több mint 17 százalékánál?

A Lexis+ AI érte el a legjobb eredményeket, de a lekérdezések több mint 17 százalékánál még mindig hallucinált. Westlaw szerszáma nagyjából egyharmadán hallucinált.

Milyen hallucinációs tartományt talált a "Large Legal Fictions" az általános célú chatbotoknál az ellenőrizhető szövetségi bírósági kérdésekben?

A tanulmány kimutatta, hogy az általános chatbotok az esetek 69-88 százalékában hallucináltak ezekre a konkrét, ellenőrizhető kérdésekre.

Miért találhat egy visszakeresési lépés rossz jogosultságot, még akkor is, ha az adatbázis tartalmazza a megfelelő jogosultságot?

A retrieverek a szóhasználatban vagy a jelentésben a közelséget értékelik. Egy nézeteltérés, a másik fél érvelésének összefoglalása vagy egy rossz joghatóságból származó ügy előkelő helyet foglalhat el anélkül, hogy ellenőrző hatóság lenne.