मतिभ्रम में कमी के लिए सत्यापन की श्रृंखला
चेन-ऑफ-वेरिफिकेशन (CoVe) एक संकेत देने वाली विधि है जहां एक मॉडल एक उत्तर का मसौदा तैयार करता है, अपने स्वयं के तथ्य-जाँच प्रश्न उत्पन्न करता है, उनका स्वतंत्र रूप से उत्तर देता है, और फिर मसौदे को संशोधित करता है।
सिंहावलोकन
It matters because it measurably cuts confident-but-wrong fabrications without external tools.
गहरा गोता
मतिभ्रम तब होता है जब कोई भाषा मॉडल कुछ धाराप्रवाह लेकिन गलत बताता है। Meta AI शोधकर्ताओं द्वारा 2023 में प्रस्तावित चेन-ऑफ-वेरिफिकेशन, संरचित स्व-जाँच के साथ इससे लड़ता है। मॉडल सबसे पहले एक आधारभूत उत्तर लिखता है। इसके बाद यह लक्षित सत्यापन प्रश्नों की एक सूची की योजना बनाता है जो उस मसौदे में तथ्यात्मक दावों की जांच करता है, जैसे 'इस व्यक्ति का जन्म कब हुआ था?' या 'किस कंपनी ने यह उत्पाद जारी किया?'। महत्वपूर्ण रूप से, यह प्रत्येक सत्यापन प्रश्न का स्वतंत्र रूप से उत्तर देता है, आदर्श रूप से मूल ड्राफ्ट को देखे बिना, इसलिए यह केवल अपनी पिछली गलतियों पर मुहर नहीं लगाता है। अंत में यह मसौदे के साथ सत्यापन उत्तरों की तुलना करता है और एक सही अंतिम प्रतिक्रिया उत्पन्न करता है। संस्थाओं को सूचीबद्ध करने और जीवनियाँ लिखने जैसे कार्यों में, CoVe ने एकल प्रत्यक्ष उत्तर की तुलना में तथ्यात्मक त्रुटियों को कम कर दिया।
तकनीकी अंतर्दृष्टि
मुख्य युक्ति ड्राफ्ट से सत्यापन को अलग करना है। यदि मॉडल मूल पाठ को देखते हुए अपने स्वयं के जाँच प्रश्नों का उत्तर देता है, तो यह अपने पिछले टोकन की पुष्टि करता है। अकेले या अलग-अलग कॉलों में प्रश्नों का उत्तर देकर, मॉडल अधिक ईमानदारी से तथ्यों को प्राप्त करता है, विरोधाभासों को सामने लाता है। पाइपलाइन चार चरणों में है: ड्राफ्ट, योजना सत्यापन, सत्यापन को स्वतंत्र रूप से निष्पादित करना, और एक संशोधित उत्तर उत्पन्न करना जो असमर्थित दावों को हटा देता है या ठीक करता है।
सामरिक प्रभाव
गति और पैमाना
भाषा वर्कफ़्लो निरंतरता से समझौता किए बिना तेज़ी से आगे बढ़ सकता है।
पहुंच और पहुंच
यह सभी भाषाओं और संचार शैलियों तक पहुंच का विस्तार करता है।
स्पष्ट निर्णय
टीमें निर्णय लेने में अधिक समय व्यतीत कर सकती हैं जबकि स्वचालन पुनरावृत्ति को संभालता है।
मतिभ्रम में कमी के लिए सत्यापन श्रृंखला का भविष्य
CoVe पुनर्प्राप्ति और टूल उपयोग के साथ अभिसरण कर रहा है: सत्यापन प्रश्नों का उत्तर केवल मॉडल की मेमोरी के बजाय खोज, कैलकुलेटर या डेटाबेस द्वारा दिया जाएगा, जिससे सटीकता में और वृद्धि होगी। उम्मीद करें कि एजेंट फ्रेमवर्क स्वचालित सत्यापन लूप और हल्के डिस्टिल्ड संस्करणों में बेक हो जाएंगे जो सस्ते में चेक चलाते हैं। अनिश्चितता के अनुमानों के साथ, भविष्य की प्रणालियाँ केवल उन दावों पर सत्यापन शुरू कर सकती हैं जिनके बारे में मॉडल अनिश्चित है, विश्वसनीयता के विरुद्ध लागत को संतुलित करता है।
वास्तविक विश्व कार्यान्वयन
एक शोध सहायक उपयोगकर्ता को दिखाने से पहले उत्पन्न जीवनी में तारीखों और नामों की दोबारा जांच करता है।
एक एंटरप्राइज़ नॉलेज बॉट अपने स्वयं के अनुवर्ती प्रश्नों के विरुद्ध उद्धृत उत्पाद विनिर्देशों की पुष्टि करता है।
संस्थाओं की एक सूची तैयार करना (उदाहरण के लिए, 'बोस्टन में पैदा हुए राजनेता') और सत्यापन में विफल रहने वाली संस्थाओं की छंटनी करना।
एक चिकित्सा-सूचना सारांशकार उन दावों को चिह्नित और संशोधित कर रहा है जिनकी स्वतंत्र जांच पुष्टि नहीं कर सकती है।
जोखिम और रेलिंग
मतिभ्रम वाले तथ्य चुपचाप रिपोर्ट में प्रवेश कर सकते हैं, प्रवाह का समर्थन कर सकते हैं, या अनुसंधान आउटपुट का समर्थन कर सकते हैं।
त्वरित संवेदनशीलता समान अनुरोधों में असंगत परिणाम पैदा कर सकती है।
यदि पहुंच नियंत्रण कमजोर हैं तो संवेदनशील पाठ डेटा उजागर हो सकता है।
कार्यान्वयन रोडमैप
रोलआउट से पहले आउटपुट स्वरूप, टोन और गुणवत्ता मानकों को परिभाषित करें।
जब भी सटीकता मायने रखती है तो विश्वसनीय स्रोतों के साथ जमीनी प्रतिक्रियाएँ।
उच्च जोखिम वाले आउटपुट के लिए एक मानव समीक्षा चेकपॉइंट रखें।
विफलता पैटर्न को ट्रैक करें और संकेतों या वर्कफ़्लो को नियमित रूप से पुनः प्रशिक्षित करें।
अन्वेषण करते रहें
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Chain-of-Verification for Hallucination Reduction quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
अगली गाइड
ऐ मतिभ्रम
अक्सर पूछे जाने वाले प्रश्नों
What is Chain-of-Verification for Hallucination Reduction?
चेन-ऑफ-वेरिफिकेशन (CoVe) एक संकेत देने वाली विधि है जहां एक मॉडल एक उत्तर का मसौदा तैयार करता है, अपने स्वयं के तथ्य-जाँच प्रश्न उत्पन्न करता है, उनका स्वतंत्र रूप से उत्तर देता है, और फिर मसौदे को संशोधित करता है। यह मायने रखता है क्योंकि यह बाहरी उपकरणों के बिना विश्वसनीय-लेकिन-गलत निर्माणों को मापता है।
सत्यापन श्रृंखला में पहला कदम क्या है?
CoVe एक प्रारंभिक मसौदा उत्तर तैयार करने से शुरू होता है, जिसे बाद में सत्यापित और संशोधित किया जाता है।
CoV मसौदे से स्वतंत्र रूप से सत्यापन प्रश्नों का उत्तर क्यों देता है?
अलग से उत्तर देना मॉडल को पहले से लिखे गए दावों की पुष्टि करने से रोकता है।
नियोजन चरण किस प्रकार के प्रश्न उत्पन्न करता है?
मॉडल अपने मसौदे में विशिष्ट तथ्यात्मक दावों के उद्देश्य से सत्यापन प्रश्नों की योजना बनाता है।
CoVe का अंतिम चरण क्या उत्पन्न करता है?
ड्राफ्ट के सत्यापन उत्तरों की तुलना करने के बाद, CoVe एक सही अंतिम प्रतिक्रिया देता है।
CoVe को विशेष रूप से किस समस्या को कम करने के लिए डिज़ाइन किया गया है?
CoVe धाराप्रवाह-लेकिन-झूठे बयानों को लक्षित करता है, जिससे तथ्यात्मक त्रुटि दर कम हो जाती है।