ऐ मतिभ्रम

It is the single biggest trust problem with today's language models.

मतिभ्रम सामान्य अर्थों में कीड़े नहीं हैं; वे मॉडल के काम करने के तरीके से बाहर हो जाते हैं। एक भाषा मॉडल को सांख्यिकीय रूप से विश्वसनीय पाठ तैयार करने के लिए प्रशिक्षित किया जाता है, सत्य को सत्यापित करने के लिए नहीं। जब यह किसी अंतराल पर पहुंचता है - एक ऐसा तथ्य जो इसने कभी नहीं सीखा, या एक ऐसा प्रश्न जिसका इसके प्रशिक्षण में कोई स्पष्ट उत्तर नहीं है - तो यह नहीं कहता कि 'मैं नहीं जानता।' इसके बजाय यह सबसे संभावित-लगने वाली निरंतरता उत्पन्न करता है, जो एक आत्मविश्वासपूर्ण निर्माण हो सकता है। आउटपुट सुचारू रूप से पढ़ता है, इसलिए त्रुटि छूटना आसान है। सामान्य रूपों में आविष्कृत पुस्तक शीर्षक या कानूनी मामले, नकली यूआरएल, गलत उद्धृत उद्धरण और प्रशंसनीय-लेकिन-गलत संख्याएं शामिल हैं। वे चिकित्सा, कानून और वित्त जैसी उच्च जोखिम वाली सेटिंग्स में विशेष रूप से खतरनाक हैं, जहां एक स्पष्ट गलत उत्तर स्पष्ट की तुलना में महंगा हो सकता है। महत्वपूर्ण बात यह है कि सही दस्तावेज़ उपलब्ध कराने के बाद भी, मॉडल उनका खंडन कर सकते हैं या उन्हें अनदेखा कर सकते हैं।