ChatGPT और एलएलएम

ChatGPT जैसा चैटबॉट मॉडल और अन्य प्रणालियों के आसपास एक एप्लिकेशन है; मॉडल और संपूर्ण उत्पाद एक ही चीज़ नहीं हैं.

चाबी छीन लेना

• चैटबॉट उत्पाद को उसके द्वारा उपयोग किए जाने वाले मॉडल से अलग करें।
• अगली-टोकन पीढ़ी और तथ्य सत्यापन अलग-अलग प्रक्रियाएं हैं।
• स्पष्ट रूप से आश्वस्त करने वाले उद्धरणों सहित महत्वपूर्ण दावों के पीछे के साक्ष्य की जाँच करें।

टेक्स्ट को टोकन में बदल दिया जाता है, जो शब्दों, शब्दों के हिस्सों या अन्य इकाइयों का प्रतिनिधित्व कर सकता है। एक ऑटोरेग्रेसिव भाषा मॉडल संभावित अगले टोकन के लिए स्कोर उत्पन्न करने के लिए वर्तमान संदर्भ का उपयोग करता है। जनरेशन एक टोकन का चयन करती है और विस्तारित संदर्भ से जारी रखती है। परिणाम उपयोगी गद्य, कोड या संरचित पाठ हो सकता है, लेकिन यह प्रक्रिया तथ्यों को स्वचालित रूप से सत्यापित नहीं करती है। कई आधुनिक एलएलएम ट्रांसफार्मर आर्किटेक्चर का उपयोग करते हैं। ध्यान एक मॉडल को विभिन्न स्थितियों से जानकारी को एक क्रम में संयोजित करने देता है। मूल ट्रांसफार्मर पेपर उस वास्तुकला के लिए एक उपयोगी स्रोत है, लेकिन यह किसी विशेष वाणिज्यिक चैटबॉट के कार्यान्वयन के हर विवरण को स्थापित नहीं करता है। प्रशिक्षण, प्रोत्साहन, पुनर्प्राप्ति और उपकरण अलग-अलग तंत्र हैं। प्रशिक्षण पैरामीटर बदलता है। एक संकेत वर्तमान कार्य और संदर्भ की आपूर्ति करता है। पुनर्प्राप्ति चयनित दस्तावेज़ों या अंशों की आपूर्ति करती है। उपकरण खोज या गणना जैसी क्रियाएं कर सकते हैं। एक उत्पाद इन तंत्रों को संयोजित कर सकता है, इसलिए किसी उत्तर की गुणवत्ता आधार मॉडल से कहीं अधिक पर निर्भर करती है। प्रवाह कोई सत्य संकेत नहीं है. एक मॉडल एक उद्धरण का आविष्कार कर सकता है, असंगत तथ्यों को मिश्रित कर सकता है, या दिए गए साक्ष्य से परे उत्तर दे सकता है। महत्वपूर्ण तथ्यात्मक कार्य के लिए, सहायक अनुच्छेद की पहचान करें, स्रोत खोलें और जाँचें कि यह वास्तव में दावे का समर्थन करता है। अपने स्वयं के आत्मविश्वास के बारे में किसी मॉडल के कथन को मूल्यांकन के आउटपुट के रूप में मानें, न कि स्वतंत्र साक्ष्य के रूप में।

1. इस आविष्कृत नोट की आपूर्ति करें: 'कार्यशाला 10:00 बजे शुरू होती है। पंजीकरण शुक्रवार को बंद हो जाएगा।'
2. पूछें: 'कार्यशाला कितने बजे समाप्त होगी? उत्तर केवल नोट से दें। यदि यह नहीं कहा गया है, तो कहो कि यह नहीं कहा गया है।'
3. अपेक्षित उत्तर यह है कि समाप्ति समय नहीं बताया गया है। एक आविष्कृत समापन समय एक विफलता है, भले ही यह प्रशंसनीय लगता हो।

यह एक छोटा मूल्यांकन मामला है जिसका आप पुन: उपयोग कर सकते हैं। अपेक्षित उत्तर एक परीक्षण मानदंड है, यह दावा नहीं कि प्रत्येक मॉडल इसे पास कर लेगा।