Quiz collegato alla guida · Medio Livello

Quiz sugli insegnanti che forzano i modelli in sequenza

Controlla in che modo i prefissi di verità addestrano un decodificatore di sequenza, in che modo le maschere causali supportano l'addestramento parallelo e perché l'inferenza differisce.

Domanda 1 di 8

Durante la forzatura dell'insegnante, cosa viene fornito come input ad ogni fase di decodifica?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Durante la forzatura dell'insegnante, cosa viene fornito come input ad ogni fase di decodifica?
    • Il token precedente vero e proprio
    • La previsione precedente del modello
    • Un gettone casuale
    • Il token di output finale
  2. During teacher-forced training, what target is paired with decoder input y_(t−1)?
    • The previous ground-truth token
    • The next target token y_t
    • A token sampled from the validation set
    • The maximum-probability output from an earlier training run
  3. La discrepanza tra train-test causata dalla forzatura dell'insegnante è nota come:
    • Gradienti evanescenti
    • Collasso della modalità
    • Distorsione da esposizione
    • Perdita dell'etichetta
  4. In un decodificatore Transformer, quale meccanismo consente alla formazione forzata dall'insegnante di funzionare in parallelo tra le posizioni?
    • Abbandono
    • Normalizzazione batch
    • Ricerca del raggio
    • Una maschera di attenzione causale (guarda avanti).
  5. Al momento dell'inferenza, perché non è possibile utilizzare la forzatura dell'insegnante?
    • Non ci sono token futuri concreti da alimentare
    • La funzione di perdita non è disponibile
    • La GPU è troppo lenta
    • Le maschere di attenzione sono disabilitate
  6. Quale perdita viene tipicamente utilizzata in ogni fase della formazione forzata da parte dell'insegnante?
    • Errore quadratico medio sui logit grezzi
    • Entropia incrociata tra la distribuzione prevista e il vero token successivo
    • Perdita della cerniera negli incastri
    • Perdita di similarità del coseno
  7. The target sequence is “red, blue, green.” Under teacher forcing, which token is supplied when training the prediction of “green”?
    • The model’s prediction for “green”
    • The future token after “green”
    • The ground-truth previous token “blue”
    • A randomly sampled vocabulary item
  8. At decoder position t, which tokens must a causal attention mask block?
    • The source sequence
    • All earlier target tokens
    • The current position’s own input
    • Target tokens at positions later than t