अनुसूचित नमूनाकरण और एक्सपोज़र पूर्वाग्रह प्रश्नोत्तरी

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. एक्सपोज़र पूर्वाग्रह इसलिए उत्पन्न होता है क्योंकि शिक्षक के साथ प्रशिक्षित मॉडल केवल निम्नलिखित शर्तों को लागू करते हैं:
   • ज़मीनी सच्चाई वाले टोकन, लेकिन अनुमान के समय उन्हें स्वयं का उपयोग करना चाहिए
   • उनके अपने पूर्वानुमानित टोकन
   • यादृच्छिक शोर टोकन
   • भविष्य के टोकन
2. प्रशिक्षण के दौरान अनुसूचित नमूनाकरण क्या करता है?
   • हमेशा सच्चा टोकन फ़ीड करता है
   • सच्चे टोकन और मॉडल की अपनी भविष्यवाणी के बीच यादृच्छिक रूप से चयन करता है
   • हानि फ़ंक्शन को समय-समय पर अक्षम करता है
   • समय के साथ सीखने की दर दोगुनी हो जाती है
3. निर्धारित नमूने में प्रशिक्षण के दौरान जमीनी सच्चाई टोकन का उपयोग करने की संभावना कैसे बदल जाती है?
   • यह स्थिर रहता है
   • यह कम शुरू होता है और बढ़ता है
   • यह उच्च स्तर से प्रारंभ होता है और शून्य की ओर क्षय हो जाता है
   • यह अनियमित रूप से दोलन करता है
4. अनुसूचित नमूनाकरण की शुरुआत किसने और मोटे तौर पर कब की?
   • वासवानी एट अल., 2017
   • हिंटन एट अल., 2006
   • लेकन एट अल., 1998
   • बेंगियो एट अल., 2015
5. प्रशिक्षण के दौरान नमूना टोकन वापस फीड करने की एक मान्यता प्राप्त तकनीकी खामी यह है:
   • असतत नमूनाकरण चरण गैर-विभेदित है, जो ग्रेडिएंट्स को जटिल बनाता है
   • यह प्रशिक्षण को पूर्णतः नियतिवादी बनाता है
   • इसके लिए किसी सत्यापन डेटा की आवश्यकता नहीं है
   • यह एम्बेडिंग की आवश्यकता को समाप्त कर देता है
6. शिक्षक-बल की संभावना को कम करने के लिए आमतौर पर किस शेड्यूल आकार का हवाला दिया जाता है?
   • लगातार
   • व्युत्क्रम-सिग्मॉइड क्षय
   • चरण-दर-चरण रैखिक वृद्धि
   • बेतरतीब चलना
7. At a decoding step where scheduled sampling chooses the model-output branch, what is fed as the next context token?
   • The next ground-truth token every time
   • A token from a separate validation sequence
   • A token sampled from the model’s predicted distribution
   • The average of all vocabulary embeddings
8. Why does scheduled sampling usually begin with a high probability of using ground truth?
   • It guarantees unbiased gradients
   • It removes the need for a training schedule
   • It makes inference use ground-truth tokens
   • Early predictions are poor, so a correct prefix can stabilize initial learning