गाइड से जुड़ी प्रश्नोत्तरी · मध्यम स्तर
अनुक्रम मॉडल प्रश्नोत्तरी में शिक्षक जबरदस्ती
जाँचता है कि जमीनी सच्चाई उपसर्ग एक अनुक्रम डिकोडर को कैसे प्रशिक्षित करते हैं, कैसे कारण मुखौटे समानांतर प्रशिक्षण का समर्थन करते हैं, और अनुमान भिन्न क्यों होते हैं।
प्रश्न 1 का 8
शिक्षक फ़ोर्सिंग के दौरान, प्रत्येक डिकोडिंग चरण में इनपुट के रूप में क्या फीड किया जाता है?
प्रत्येक प्रश्न का पूर्वावलोकन करें8 प्रश्न
जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।
- शिक्षक फ़ोर्सिंग के दौरान, प्रत्येक डिकोडिंग चरण में इनपुट के रूप में क्या फीड किया जाता है?
- जमीनी सच्चाई पिछला टोकन
- मॉडल की अपनी पिछली भविष्यवाणी
- एक यादृच्छिक टोकन
- अंतिम आउटपुट टोकन
- शिक्षक-मजबूर प्रशिक्षण के दौरान, डिकोडर इनपुट y_(t−1) के साथ किस लक्ष्य को जोड़ा जाता है?
- The previous ground-truth token
- The next target token y_t
- A token sampled from the validation set
- The maximum-probability output from an earlier training run
- शिक्षक के दबाव के कारण होने वाली ट्रेन-टेस्ट बेमेल को कहा जाता है:
- लुप्त होती प्रवणताएँ
- मोड पतन
- एक्सपोज़र पूर्वाग्रह
- लेबल रिसाव
- ट्रांसफार्मर डिकोडर में, कौन सा तंत्र शिक्षक-मजबूर प्रशिक्षण को विभिन्न पदों पर समानांतर रूप से चलने देता है?
- ड्रॉपआउट
- बैच सामान्यीकरण
- किरण खोज
- एक कारणात्मक (आगे देखो) ध्यान मुखौटा
- अनुमान के समय शिक्षक पर दबाव क्यों नहीं डाला जा सकता?
- खिलाने के लिए कोई जमीनी सच्चाई वाले भविष्य के टोकन नहीं हैं
- हानि फ़ंक्शन अनुपलब्ध है
- जीपीयू बहुत धीमा है
- ध्यान देने योग्य मुखौटे अक्षम हैं
- शिक्षक-मजबूर प्रशिक्षण के दौरान प्रत्येक चरण में आमतौर पर किस हानि का उपयोग किया जाता है?
- कच्चे लॉग पर माध्य चुकता त्रुटि
- अनुमानित वितरण और वास्तविक अगले टोकन के बीच क्रॉस-एन्ट्रॉपी
- एंबेडिंग्स पर टिका नुकसान
- कोसाइन समानता हानि
- The target sequence is “red, blue, green.” Under teacher forcing, which token is supplied when training the prediction of “green”?
- The model’s prediction for “green”
- The future token after “green”
- The ground-truth previous token “blue”
- A randomly sampled vocabulary item
- At decoder position t, which tokens must a causal attention mask block?
- The source sequence
- All earlier target tokens
- The current position’s own input
- Target tokens at positions later than t