भाषा एआई गाइड
कानूनी एआई टूल्स में मतिभ्रम दरें
स्वतंत्र परीक्षण में पाया गया है कि पुनर्प्राप्ति-संवर्धित पीढ़ी (आरएजी) पर निर्मित एआई कानूनी अनुसंधान उपकरण अभी भी समय का एक सार्थक हिस्सा गलत या असमर्थित उत्तर देते हैं।
इस गाइड को सुनेंएआई-नैरेटेड · ~3 min
इस पृष्ठ पर4 मिनट पढ़ें
सिंहावलोकन
2024 के स्टैनफोर्ड अध्ययन में सबसे अच्छा प्रदर्शन करने वाले व्यावसायिक टूल के लिए भी छह में से एक से अधिक प्रश्नों में मतिभ्रम पाया गया। यह मायने रखता है क्योंकि विक्रेताओं ने मतिभ्रम से बचने के लिए इन उपकरणों का विपणन किया है, और जो वकील उन पर भरोसा करते हैं वे अभी भी उनके द्वारा दाखिल किए गए प्रत्येक उद्धरण के लिए जिम्मेदार हैं।
गहरा गोता
स्टैनफोर्ड-संबद्ध दो अध्ययनों ने बहस को आकार दिया। मैथ्यू डाहल, वरुण मगेश, मिराक सुजगुन और डैनियल हो द्वारा लिखित पहला, "लार्ज लीगल फिक्शन" (2024), संघीय अदालत के मामलों के बारे में सत्यापन योग्य प्रश्नों पर सामान्य-उद्देश्य चैटबॉट का परीक्षण किया गया। इसमें उन प्रश्नों पर मतिभ्रम की दर 69 से 88 प्रतिशत के बीच पाई गई। मॉडलों में भी प्रश्नों में अंतर्निहित झूठे आधारों को स्वीकार करने की प्रवृत्ति देखी गई। वाणिज्यिक कानूनी विक्रेताओं ने तर्क दिया कि उनके उपकरण पुनर्प्राप्ति-संवर्धित पीढ़ी के माध्यम से इस समस्या से बचते हैं, जो वास्तविक कानूनी डेटाबेस में उत्तर देता है। कुछ मार्केटिंग में "मतिभ्रम-मुक्त" जैसे वाक्यांशों का उपयोग किया जाता है। 2024 में, स्टैनफोर्ड के रेगलैब और इंस्टीट्यूट फॉर ह्यूमन-सेंटर्ड एआई के शोधकर्ताओं ने "मतिभ्रम-मुक्त?" शीर्षक वाले एक अध्ययन में उस दावे का परीक्षण किया। उन्होंने तुलना के तौर पर GPT-4 के साथ लेक्सिस+ AI, वेस्टलॉ AI-असिस्टेड रिसर्च और आस्क प्रैक्टिकल लॉ AI के माध्यम से 200 से अधिक कानूनी प्रश्न पूछे। उन्होंने किसी उत्तर को मतिभ्रम के रूप में गिना यदि वह या तो गलत था या गलत आधार पर दिया गया था। ग़लतफ़हमी का मतलब है कि इसमें वास्तविक स्रोत का हवाला दिया गया है जो दावे का समर्थन नहीं करता है। लेक्सिस+ एआई ने सबसे अच्छा प्रदर्शन किया, फिर भी 17 प्रतिशत से अधिक प्रश्नों पर अभी भी मतिभ्रम हुआ। वेस्टलॉ का उपकरण लगभग एक तिहाई पर मतिभ्रम करता है। प्रैक्टिकल लॉ से पूछें एआई अक्सर अधूरे उत्तर देता है। पेपर के प्रारंभिक संस्करण की आलोचना की गई क्योंकि शोधकर्ताओं के पास पहले वेस्टलॉ के शोध उपकरण तक पहुंच नहीं थी; बाद में उन्होंने इसका परीक्षण किया और पेपर को संशोधित किया। पुनर्प्राप्ति कई कारणों से त्रुटियों को कम करती है लेकिन उन्हें दूर नहीं करती है। पुनर्प्राप्तिकर्ता को ऐसे दस्तावेज़ मिल सकते हैं जो क्वेरी के साथ शब्द साझा करते हैं लेकिन कानूनी रूप से प्रासंगिक नहीं हैं। यह नियंत्रण प्राधिकारी को चूक सकता है, या किसी मामले को गलत क्षेत्राधिकार या किसी नियम के अधिक्रमण संस्करण से खींच सकता है। फिर मॉडल जो पुनर्प्राप्त किया गया था उसे गलत तरीके से पढ़ सकता है या अनदेखा कर सकता है, स्रोतों को एक साथ मिला सकता है, या गलत आधार के साथ जा सकता है। एक आम ग़लतफ़हमी यह है कि सही दिखने वाले उद्धरण का मतलब सही उत्तर होता है। ग़लत आधार वाली श्रेणी दर्शाती है कि एक वास्तविक उद्धरण झूठे दावे का समर्थन कर सकता है।
वास्तविक विश्व कार्यान्वयन
एक सहयोगी एक शोध उपकरण से पूछता है कि एक अदालत ने उस मामले में एक निश्चित तरीके से फैसला क्यों सुनाया जो वास्तव में दूसरे तरीके से चला गया था। उपकरण झूठे आधार को स्वीकार करता है और वास्तविक राय का हवाला देते हुए आविष्कृत निर्णय की व्याख्या करता है।
एक उपकरण एक वास्तविक अपीलीय मामले को उस प्रस्ताव के सटीक उद्धरण के साथ लौटाता है जिसे मामला कभी संबोधित नहीं करता है। यह एक 'गलत आधार वाला' उत्तर है जो तब तक विश्वसनीय लगता है जब तक कोई व्यक्ति की राय नहीं पढ़ लेता।
एक शोध उपकरण एक निर्णय का हवाला देता है जिसे बाद में उलट दिया गया था, क्योंकि इसने पुरानी राय को पुनः प्राप्त कर लिया था और इसके बाद के इतिहास की जाँच नहीं की थी।
एक कानूनी विभाग ज्ञात उत्तरों के साथ 100 प्रश्नों के अपने सेट पर दो विक्रेताओं का परीक्षण करता है। यह रिकॉर्ड करता है कि क्या प्रत्येक उद्धरण मौजूद है, क्या यह दावे का समर्थन करता है, और क्या उत्तर पूरा है।
कानूनी एआई टूल्स में मतिभ्रम दर का भविष्य
विक्रेताओं ने 2024 के अध्ययनों के बाद से अपने उत्पादों को अपडेट किया है, इसलिए विशिष्ट त्रुटि दरें वर्तमान संस्करणों का वर्णन नहीं कर सकती हैं। इसीलिए बार-बार स्वतंत्र परीक्षण किसी एक संख्या से अधिक मायने रखता है। तीसरे पक्षों और स्वयं कानून फर्मों द्वारा बेंचमार्किंग प्रयास आम होते जा रहे हैं। बेहतर उद्धरणकर्ता, एजेंट-शैली वर्कफ़्लो जो अपने स्वयं के उद्धरणों की जाँच करते हैं, और मजबूत ग्राउंडिंग त्रुटियों को कम कर सकते हैं। अभी तक ऐसा कुछ भी नहीं दिखा है कि पुनर्प्राप्ति उन्हें पूरी तरह से हटा देगी। न्यायालयों में मनगढ़ंत या गलत तरीके से प्रस्तुत प्राधिकारी के साथ दाखिल याचिकाएं जारी हैं, और कुछ ने प्रतिबंध भी लगाए हैं। निकट भविष्य के लिए, प्रत्येक उद्धृत प्राधिकारी की मानवीय समीक्षा एक पेशेवर दायित्व बनी हुई है, चाहे विक्रेता कुछ भी दावा करे।
इसे व्यवहार में लाना
यह क्यों मायने रखता है?
- गति और पैमाना. भाषा वर्कफ़्लो निरंतरता से समझौता किए बिना तेज़ी से आगे बढ़ सकता है।
- पहुंच और पहुंच. यह सभी भाषाओं और संचार शैलियों तक पहुंच का विस्तार करता है।
- स्पष्ट निर्णय. टीमें निर्णय लेने में अधिक समय व्यतीत कर सकती हैं जबकि स्वचालन पुनरावृत्ति को संभालता है।
का ध्यान रखें
- मतिभ्रम वाले तथ्य चुपचाप रिपोर्ट में प्रवेश कर सकते हैं, प्रवाह का समर्थन कर सकते हैं, या अनुसंधान आउटपुट का समर्थन कर सकते हैं।
- त्वरित संवेदनशीलता समान अनुरोधों में असंगत परिणाम पैदा कर सकती है।
- यदि पहुंच नियंत्रण कमजोर हैं तो संवेदनशील पाठ डेटा उजागर हो सकता है।
अगले चरण
- रोलआउट से पहले आउटपुट स्वरूप, टोन और गुणवत्ता मानकों को परिभाषित करें।
- जब भी सटीकता मायने रखती है तो विश्वसनीय स्रोतों के साथ जमीनी प्रतिक्रियाएँ।
- उच्च जोखिम वाले आउटपुट के लिए एक मानव समीक्षा चेकपॉइंट रखें।
- विफलता पैटर्न को ट्रैक करें और संकेतों या वर्कफ़्लो को नियमित रूप से पुनः प्रशिक्षित करें।
अन्वेषण करते रहें
मुफ़्त न्यूज़लेटर
दैनिक एआई ब्रीफिंग प्राप्त करें
हर कार्यदिवस की सुबह तीन सत्यापित एआई कहानियाँ, सादे अंग्रेजी में लिखी गईं। हमेशा के लिए मुफ़्त, कोई विज्ञापन नहीं।
प्रत्येक सप्ताह के दिन एक ईमेल. एक क्लिक में सदस्यता समाप्त करें. हम आपका पता कभी नहीं बेचते या साझा नहीं करते।
स्वयं की जांच करो
Take the Hallucination Rates in Legal AI Tools quiz
प्रत्येक उत्तर पर त्वरित प्रतिक्रिया, और पाठ्यक्रम पास करने के बाद एक सत्यापन योग्य आईडी के साथ एक साझा करने योग्य प्रमाणपत्र।
निःशुल्क एआई शिक्षा का समर्थन करें। AI Understanding एक 501(c)(3) गैर-लाभकारी संस्था है - कोई विज्ञापन नहीं, कोई पेवॉल नहीं। दान करें
अक्सर पूछे जाने वाले प्रश्नों
कानूनी एआई टूल्स में मतिभ्रम दरें क्या हैं?
स्वतंत्र परीक्षण में पाया गया है कि पुनर्प्राप्ति-संवर्धित पीढ़ी (आरएजी) पर निर्मित एआई कानूनी अनुसंधान उपकरण अभी भी समय का एक सार्थक हिस्सा गलत या असमर्थित उत्तर देते हैं। 2024 के स्टैनफोर्ड अध्ययन में सबसे अच्छा प्रदर्शन करने वाले व्यावसायिक टूल के लिए भी छह में से एक से अधिक प्रश्नों में मतिभ्रम पाया गया। यह मायने रखता है क्योंकि विक्रेताओं ने मतिभ्रम से बचने के लिए इन उपकरणों का विपणन किया है, और जो वकील उन पर भरोसा करते हैं वे अभी भी उनके द्वारा दाखिल किए गए प्रत्येक उद्धरण के लिए जिम्मेदार हैं।
स्टैनफोर्ड "मतिभ्रम-मुक्त" कैसे हुआ? अध्ययन मतिभ्रम को परिभाषित करता है?
अध्ययन में दो प्रकार की त्रुटियां गिनाई गईं: वे कथन जो गलत हैं, और ऐसे कथन जो उद्धरण द्वारा समर्थित हैं जो वास्तव में उनका समर्थन नहीं करते हैं।
स्टैनफोर्ड अध्ययन की शर्तों में, 'गलत आधार वाला' उत्तर क्या है?
एक ग़लत आधार वाला उत्तर एक वास्तविक प्राधिकारी की ओर इशारा करता है, लेकिन वह प्राधिकारी उत्तर में कही गई बातों का समर्थन नहीं करता है। इससे यह पहले से कहीं अधिक भरोसेमंद दिखता है।
2024 स्टैनफोर्ड परीक्षण में किस टूल ने सबसे अच्छा प्रदर्शन किया लेकिन फिर भी 17 प्रतिशत से अधिक प्रश्नों पर मतिभ्रम हुआ?
लेक्सिस+ एआई के परिणाम सबसे अच्छे थे, फिर भी 17 प्रतिशत से अधिक प्रश्नों पर अभी भी मतिभ्रम हुआ। वेस्टलॉ का उपकरण लगभग एक तिहाई पर मतिभ्रम करता है।
सत्यापन योग्य संघीय अदालती प्रश्नों पर सामान्य प्रयोजन के चैटबॉट्स के लिए "लार्ज लीगल फ़िक्शन्स" ने कौन सी मतिभ्रम सीमा पाई?
अध्ययन में पाया गया कि सामान्य चैटबॉट इन विशिष्ट, सत्यापन योग्य प्रश्नों पर 69 से 88 प्रतिशत समय के बीच मतिभ्रम करते हैं।
डेटाबेस में सही प्राधिकरण होने पर भी पुनर्प्राप्ति चरण गलत प्राधिकरण क्यों ढूंढ सकता है?
पुनर्प्राप्ति शब्द या अर्थ में निकटता प्राप्त करते हैं। एक असहमति, दूसरे पक्ष के तर्क का सारांश, या गलत क्षेत्राधिकार का मामला नियंत्रण प्राधिकारी के बिना उच्च रैंक पर हो सकता है।
सीखते रहो
संबंधित मार्गदर्शिकाएँ
इस विषय के लिए अधिक मार्गदर्शिकाएँ चुनी गईं