LegközelebbKövetkező útmutató
AI íróeszközök
Nyelvi AI
Nyelvi AI ÚTMUTATÓ
Független tesztelés kimutatta, hogy az AI jogi kutatási eszközei, amelyek a retrieval-augmented generációra (RAG) épülnek, még mindig jelentős részben helytelen vagy nem támogatott válaszokat adnak.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
Egy 2024-es stanfordi tanulmány hallucinációkat talált több mint hatodik lekérdezésben, még a legjobban teljesítő kereskedelmi eszközök esetében is. Ez azért fontos, mert a gyártók ezeket az eszközöket a hallucinációk elkerüléseként hirdették, és a rájuk támaszkodó ügyvédek továbbra is felelősek minden általuk benyújtott idézetért.
Two Stanford-affiliated studies shaped the debate. The first, "Large Legal Fictions" (2024), by Matthew Dahl, Varun Magesh, Mirac Suzgun and Daniel Ho, tested general-purpose chatbots on verifiable questions about federal court cases. It found hallucination rates between 69 and 88 percent on those questions. Models also tended to accept false premises built into the questions. Commercial legal vendors argued that their tools avoided this problem through retrieval-augmented generation, which grounds answers in real legal databases. Some marketing used phrases such as "hallucination-free." In 2024, researchers at Stanford's RegLab and Institute for Human-Centered AI tested that claim in a study titled "Hallucination-Free?" They ran more than 200 legal queries through Lexis+ AI, Westlaw AI-Assisted Research and Ask Practical Law AI, with GPT-4 as a comparison. They counted an answer as a hallucination if it was either incorrect or misgrounded. Misgrounded means it cited a real source that does not support the claim. Lexis+ AI performed best, yet still hallucinated on more than 17 percent of queries. Westlaw's tool hallucinated on roughly a third. Ask Practical Law AI often gave incomplete answers. An early version of the paper was criticized because the researchers first lacked access to Westlaw's research tool; they later tested it and revised the paper. Retrieval reduces errors but does not remove them, for several reasons. The retriever may find documents that share words with the query but are not legally relevant. It may miss the controlling authority, or pull a case from the wrong jurisdiction or a superseded version of a rule. The model may then misread or ignore what was retrieved, blend sources together, or go along with a false premise. A common misconception is that a correct-looking citation means a correct answer. The misgrounded category shows that a real citation can support a false claim.
Egy munkatárs megkérdezi egy kutatási eszközt, hogy a bíróság miért döntött egy bizonyos módon egy olyan ügyben, amely valójában ellenkező irányba ment. Az eszköz elfogadja a hamis feltevést, és valós véleményre hivatkozva megmagyarázza a kitalált ítéletet.
Az eszköz valódi fellebbezési esetet ad vissza pontos idézettel egy olyan javaslatra, amelyre az eset soha nem vonatkozik. Ez egy „tévesen megalapozott” válasz, amely megbízhatónak tűnik, amíg valaki el nem olvassa a véleményt.
Egy kutatási eszköz egy döntésre hivatkozik, amelyet később megfordítottak, mert visszakereste a régebbi véleményt, és nem ellenőrizte annak későbbi történetét.
Egy jogi osztály két szállítót tesztel a saját 100 kérdésből álló, ismert válaszokkal rendelkező készletén. Rögzíti, hogy az egyes hivatkozások léteznek-e, alátámasztják-e az állítást, és hogy a válasz teljes-e.
A szállítók a 2024-es tanulmányok óta frissítették termékeiket, így előfordulhat, hogy a konkrét hibaarányok nem írják le a jelenlegi verziókat. Ez az oka annak, hogy az ismételt független tesztelés minden egyes számnál fontosabb. Egyre gyakoribbak a harmadik felek és maguk az ügyvédi irodák teljesítményértékelési erőfeszítései. A jobb idézők, a saját idézeteiket ellenőrző ügynök-stílusú munkafolyamatok és az erősebb alapozás csökkentheti a hibákat. Eddig semmi sem mutatja, hogy a visszakeresés teljesen eltávolítja őket. A bíróságok továbbra is találkoznak a koholt vagy megtévesztő felhatalmazással rendelkező beadványokkal, és néhányan szankciókat is kiszabtak. A belátható jövőben minden hivatkozott hatóság emberi felülvizsgálata szakmai kötelezettség marad, bármit is állítson az eladó.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Független tesztelés kimutatta, hogy az AI jogi kutatási eszközei, amelyek a retrieval-augmented generációra (RAG) épülnek, még mindig jelentős részben helytelen vagy nem támogatott válaszokat adnak. Egy 2024-es stanfordi tanulmány hallucinációkat talált több mint hatodik lekérdezésben, még a legjobban teljesítő kereskedelmi eszközök esetében is. Ez azért fontos, mert a gyártók ezeket az eszközöket a hallucinációk elkerüléseként hirdették, és a rájuk támaszkodó ügyvédek továbbra is felelősek minden általuk benyújtott idézetért.
A tanulmány kétféle hibát számolt: a hibás állításokat és azokat az állításokat, amelyeket az idézettel alátámaszt, amely valójában nem támasztja alá azokat.
A téves válasz valódi tekintélyre utal, de ez a tekintély nem támasztja alá azt, amit a válasz mond. Így megbízhatóbbnak tűnik, mint amilyen.
A Lexis+ AI érte el a legjobb eredményeket, de a lekérdezések több mint 17 százalékánál még mindig hallucinált. Westlaw szerszáma nagyjából egyharmadán hallucinált.
A tanulmány kimutatta, hogy az általános chatbotok az esetek 69-88 százalékában hallucináltak ezekre a konkrét, ellenőrizhető kérdésekre.
A retrieverek a szóhasználatban vagy a jelentésben a közelséget értékelik. Egy nézeteltérés, a másik fél érvelésének összefoglalása vagy egy rossz joghatóságból származó ügy előkelő helyet foglalhat el anélkül, hogy ellenőrző hatóság lenne.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
AI íróeszközök
Nyelvi AI