Kvíz spojený s průvodcem · Střední úroveň
Vynucování učitelů v kvízu sekvenčních modelů
Kontroluje, jak předpony základní pravdy trénují sekvenční dekodér, jak kauzální masky podporují paralelní trénování a proč se inference liší.
Otázka 1 z 8
Co je během vynucování učitelem přiváděno jako vstup v každém kroku dekódování?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co je během vynucování učitelem přiváděno jako vstup v každém kroku dekódování?
- Předchozí token základní pravdy
- Vlastní předchozí předpověď modelu
- Náhodný token
- Konečný výstupní token
- During teacher-forced training, what target is paired with decoder input y_(t−1)?
- The previous ground-truth token
- The next target token y_t
- A token sampled from the validation set
- The maximum-probability output from an earlier training run
- Nesoulad vlak-test způsobený nátlakem učitele je známý jako:
- Mizející přechody
- Zhroucení režimu
- Expoziční zkreslení
- Únik štítku
- Jaký mechanismus v dekodéru Transformer umožňuje, aby školení vynucené učiteli probíhalo paralelně napříč pozicemi?
- Výpadek
- Dávková normalizace
- Hledání paprskem
- Kauzální (dopředná) maska pozornosti
- Proč v době vyvozování nelze použít nucení učitele?
- Neexistují žádné budoucí žetony základní pravdy, které by bylo možné krmit
- Funkce ztráty není k dispozici
- GPU je příliš pomalé
- Pozor masky jsou deaktivovány
- Která ztráta se obvykle používá v každém kroku během vynuceného školení učitelů?
- Střední kvadratická chyba na nezpracovaných logitech
- Křížová entropie mezi předpokládanou distribucí a skutečným dalším tokenem
- Ztráta pantu na vložkách
- Ztráta kosinové podobnosti
- The target sequence is “red, blue, green.” Under teacher forcing, which token is supplied when training the prediction of “green”?
- The model’s prediction for “green”
- The future token after “green”
- The ground-truth previous token “blue”
- A randomly sampled vocabulary item
- At decoder position t, which tokens must a causal attention mask block?
- The source sequence
- All earlier target tokens
- The current position’s own input
- Target tokens at positions later than t