अनुक्रम मॉडल में शिक्षक को बाध्य करना

It makes training fast and stable.

आरएनएन, एलएसटीएम और ट्रांसफार्मर डिकोडर जैसे अनुक्रम मॉडल एक समय में एक टोकन उत्पन्न करते हैं, इसके पहले टोकन पर प्रत्येक चरण को वातानुकूलित किया जाता है। प्रशिक्षण के दौरान आप मॉडल को उसकी अपनी भविष्यवाणियाँ वापस फीड कर सकते हैं, लेकिन प्रशिक्षण के आरंभ में वे भविष्यवाणियाँ अधिकतर गलत होती हैं, इसलिए त्रुटियाँ बढ़ती जाती हैं और सीखना धीमा हो जाता है। इसके बजाय शिक्षक हर कदम पर लक्ष्य अनुक्रम से जमीनी सच्चाई का टोकन फीड करता है, इसलिए मॉडल हमेशा एक सही उपसर्ग पर शर्त लगाता है। यह सभी स्थितियों को समानांतर में प्रशिक्षित करने की सुविधा देता है (विशेष रूप से ट्रांसफॉर्मर में नकाबपोश आत्म-ध्यान के माध्यम से) और मजबूत, स्थिर ग्रेडिएंट उत्पन्न करता है। पकड़: अनुमान के समय कोई जमीनी सच्चाई मौजूद नहीं होती है, इसलिए मॉडल को अपने स्वयं के आउटपुट का उपभोग करना चाहिए, जिससे एक ट्रेन-टेस्ट बेमेल पैदा होता है जिसे एक्सपोज़र पूर्वाग्रह के रूप में जाना जाता है।