Kvíz spojený s průvodcem · Střední úroveň

Vynucování učitelů v kvízu sekvenčních modelů

Kontroluje, jak předpony základní pravdy trénují sekvenční dekodér, jak kauzální masky podporují paralelní trénování a proč se inference liší.

Související vodicí cestyUčitel nucení v sekvenčních modelech
Otázka 1 z 8

Co je během vynucování učitelem přiváděno jako vstup v každém kroku dekódování?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co je během vynucování učitelem přiváděno jako vstup v každém kroku dekódování?
    • Předchozí token základní pravdy
    • Vlastní předchozí předpověď modelu
    • Náhodný token
    • Konečný výstupní token
  2. During teacher-forced training, what target is paired with decoder input y_(t−1)?
    • The previous ground-truth token
    • The next target token y_t
    • A token sampled from the validation set
    • The maximum-probability output from an earlier training run
  3. Nesoulad vlak-test způsobený nátlakem učitele je známý jako:
    • Mizející přechody
    • Zhroucení režimu
    • Expoziční zkreslení
    • Únik štítku
  4. Jaký mechanismus v dekodéru Transformer umožňuje, aby školení vynucené učiteli probíhalo paralelně napříč pozicemi?
    • Výpadek
    • Dávková normalizace
    • Hledání paprskem
    • Kauzální (dopředná) maska pozornosti
  5. Proč v době vyvozování nelze použít nucení učitele?
    • Neexistují žádné budoucí žetony základní pravdy, které by bylo možné krmit
    • Funkce ztráty není k dispozici
    • GPU je příliš pomalé
    • Pozor masky jsou deaktivovány
  6. Která ztráta se obvykle používá v každém kroku během vynuceného školení učitelů?
    • Střední kvadratická chyba na nezpracovaných logitech
    • Křížová entropie mezi předpokládanou distribucí a skutečným dalším tokenem
    • Ztráta pantu na vložkách
    • Ztráta kosinové podobnosti
  7. The target sequence is “red, blue, green.” Under teacher forcing, which token is supplied when training the prediction of “green”?
    • The model’s prediction for “green”
    • The future token after “green”
    • The ground-truth previous token “blue”
    • A randomly sampled vocabulary item
  8. At decoder position t, which tokens must a causal attention mask block?
    • The source sequence
    • All earlier target tokens
    • The current position’s own input
    • Target tokens at positions later than t