Nauczyciel wymuszający w modelach sekwencji Quiz

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Co podczas wymuszania przez nauczyciela jest podawane jako sygnał wejściowy na każdym etapie dekodowania?
   • Poprzedni token oparty na faktach
   • Poprzednie przewidywania modelu
   • Losowy token
   • Ostateczny token wyjściowy
2. During teacher-forced training, what target is paired with decoder input y_(t−1)?
   • The previous ground-truth token
   • The next target token y_t
   • A token sampled from the validation set
   • The maximum-probability output from an earlier training run
3. Niedopasowanie pociągu do testu spowodowane wymuszaniem przez nauczyciela jest znane jako:
   • Znikające gradienty
   • Załamanie trybu
   • Błąd ekspozycji
   • Wyciek etykiety
4. Jaki mechanizm w dekoderze Transformer umożliwia równoległe szkolenie wymuszane przez nauczyciela na różnych stanowiskach?
   • Rezygnacja
   • Normalizacja wsadowa
   • Wyszukiwanie wiązki
   • Maska uwagi przyczynowej (wybiegającej w przyszłość).
5. Dlaczego w momencie wnioskowania nie można zastosować przymusu wobec nauczyciela?
   • Nie ma żadnych żetonów przyszłości opartych na prawdzie, które można by nakarmić
   • Funkcja straty jest niedostępna
   • Procesor graficzny jest zbyt wolny
   • Maski uwagi są wyłączone
6. Która strata jest zwykle stosowana na każdym etapie szkolenia wymuszanego przez nauczyciela?
   • Średni błąd kwadratowy surowych logitów
   • Entropia krzyżowa między przewidywaną dystrybucją a prawdziwym następnym tokenem
   • Utrata zawiasów na osadzeniach
   • Cosinus utrata podobieństwa
7. The target sequence is “red, blue, green.” Under teacher forcing, which token is supplied when training the prediction of “green”?
   • The model’s prediction for “green”
   • The future token after “green”
   • The ground-truth previous token “blue”
   • A randomly sampled vocabulary item
8. At decoder position t, which tokens must a causal attention mask block?
   • The source sequence
   • All earlier target tokens
   • The current position’s own input
   • Target tokens at positions later than t