Test legat de ghid · Mediu Nivel

Forțarea profesorului în modelele secvențe Quiz

Verifică modul în care prefixele adevărului de bază antrenează un decodor de secvență, modul în care măștile cauzale susțin antrenamentul paralel și de ce diferă inferența.

Căi de ghidare aferenteForțarea profesorului în modele de secvență
Întrebare 1 de 8

În timpul forțării profesorului, ce este alimentat ca intrare la fiecare pas de decodare?

Previzualizează fiecare întrebare8 întrebări

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

  1. În timpul forțării profesorului, ce este alimentat ca intrare la fiecare pas de decodare?
    • Semnul anterior adevăr-teren
    • Predicția anterioară a modelului
    • Un simbol aleator
    • Jetonul final de ieșire
  2. During teacher-forced training, what target is paired with decoder input y_(t−1)?
    • The previous ground-truth token
    • The next target token y_t
    • A token sampled from the validation set
    • The maximum-probability output from an earlier training run
  3. Nepotrivirea tren-test cauzată de forțarea profesorului este cunoscută ca:
    • Gradienți care dispar
    • Colapsul modului
    • Prejudecata de expunere
    • Scurgerea etichetei
  4. Într-un decodor Transformer, ce mecanism permite formarea forțată de profesor să se desfășoare în paralel pe poziții?
    • Abandonul
    • Normalizarea loturilor
    • Căutare fascicul
    • O mască de atenție cauzală (de așteptare).
  5. La momentul deducerii, de ce nu poate fi folosită forțarea profesorului?
    • Nu există jetoane de viitor cu adevărul de bază de alimentat
    • Funcția de pierdere este indisponibilă
    • GPU-ul este prea lent
    • Măștile de atenție sunt dezactivate
  6. Ce pierdere este utilizată de obicei la fiecare pas în timpul formării forțate de profesor?
    • Eroare pătratică medie pe logit-uri brute
    • Entropie încrucișată între distribuția prezisă și simbolul următor adevărat
    • Pierderea balamalei pe înglobări
    • Pierderea asemănării cosinusului
  7. The target sequence is “red, blue, green.” Under teacher forcing, which token is supplied when training the prediction of “green”?
    • The model’s prediction for “green”
    • The future token after “green”
    • The ground-truth previous token “blue”
    • A randomly sampled vocabulary item
  8. At decoder position t, which tokens must a causal attention mask block?
    • The source sequence
    • All earlier target tokens
    • The current position’s own input
    • Target tokens at positions later than t