गाइड से जुड़ी प्रश्नोत्तरी · मध्यम स्तर
अगला-टोकन भविष्यवाणी प्रश्नोत्तरी
ऑटोरेग्रेसिव भाषा-मॉडल प्रशिक्षण, कारण संदर्भ, शिक्षक दबाव और प्रशिक्षण और पीढ़ी के बीच अंतर की समीक्षा करें।
प्रश्न 1 का 8
प्रत्येक चरण पर अगला-टोकन भविष्यवाणी मॉडल क्या आउटपुट देता है?
प्रत्येक प्रश्न का पूर्वावलोकन करें8 प्रश्न
जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।
- प्रत्येक चरण पर अगला-टोकन भविष्यवाणी मॉडल क्या आउटपुट देता है?
- अगले टोकन के लिए शब्दावली पर संभाव्यता वितरण
- एक निश्चित शब्द
- वाक्य का अनुवाद
- एक व्याकरण स्कोर
- GPT-शैली डिकोडर किस प्रकार के ध्यान का उपयोग करता है?
- द्विदिश ध्यान
- कारणात्मक (नकाबपोश) ध्यान जो भविष्य के चिन्हों को छुपाता है
- बिल्कुल ध्यान नहीं
- यादृच्छिक ध्यान
- यहाँ 'स्वप्रतिगामी' पीढ़ी का क्या अर्थ है?
- मॉडल एक ही बार में सभी टोकन उत्पन्न करता है
- मॉडल माध्य मान पर वापस आ जाता है
- प्रत्येक नए टोकन को जोड़ा जाता है और अगले की भविष्यवाणी करने के लिए वापस फीड किया जाता है
- टोकन यादृच्छिक क्रम में उत्पन्न होते हैं
- प्रशिक्षण के दौरान किस हानि फ़ंक्शन को आम तौर पर न्यूनतम किया जाता है?
- माध्य वर्ग त्रुटि
- काज हानि
- कोसाइन दूरी
- अगले टोकन पर क्रॉस-एन्ट्रॉपी
- नमूनाकरण के दौरान तापमान बढ़ाने से क्या होता है?
- आउटपुट को अधिक यादृच्छिक और रचनात्मक बनाता है
- आउटपुट को सख्ती से नियतात्मक बनाता है
- शब्दावली का आकार बढ़ता है
- सॉफ्टमैक्स परत को हटा देता है
- भविष्यवाणी से पहले, कच्चा पाठ आमतौर पर कैसे तैयार किया जाता है?
- इसका अंग्रेजी में अनुवाद किया गया है
- इसे एक टोकनाइज़र द्वारा टोकन में विभाजित किया जाता है
- इसे ऑडियो में बदल दिया जाता है
- इसे बिना किसी प्रसंस्करण के कच्चे पात्रों के रूप में छोड़ दिया जाता है
- अगले-टोकन प्रशिक्षण के दौरान, शिक्षक क्या मजबूर कर रहा है?
- मॉडल इनपुट से पहले भविष्य के लक्ष्य टोकन प्राप्त करता है
- मॉडल प्रत्येक चरण पर टोकनाइज़र को यादृच्छिक रूप से बदलता है
- अगले टोकन की भविष्यवाणी करते समय मॉडल को पूर्ववर्ती टोकन की जमीनी सच्चाई प्राप्त होती है
- प्रशिक्षण के दौरान मॉडल हमेशा अपनी पिछली भविष्यवाणी का नमूना लेता है
- क्या बेमेल उत्पन्न हो सकता है क्योंकि पीढ़ी मॉडल-निर्मित टोकन को वापस फ़ीड करती है?
- मॉडल अब ध्यान का उपयोग नहीं कर सकता
- पहले टोकन के बाद शब्दावली गायब हो जाती है
- मॉडल के नुकसान की गणना केवल छवियों पर की जाती है
- जमीनी सच्चाई उपसर्ग पर प्रशिक्षण के विपरीत, उत्पन्न उपसर्गों में त्रुटियां बाद की भविष्यवाणियों को प्रभावित कर सकती हैं