Quiz collegato alla guida · Medio Livello
Quiz sugli insegnanti che forzano i modelli in sequenza
Controlla in che modo i prefissi di verità addestrano un decodificatore di sequenza, in che modo le maschere causali supportano l'addestramento parallelo e perché l'inferenza differisce.
Domanda 1 di 8
Durante la forzatura dell'insegnante, cosa viene fornito come input ad ogni fase di decodifica?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Durante la forzatura dell'insegnante, cosa viene fornito come input ad ogni fase di decodifica?
- Il token precedente vero e proprio
- La previsione precedente del modello
- Un gettone casuale
- Il token di output finale
- During teacher-forced training, what target is paired with decoder input y_(t−1)?
- The previous ground-truth token
- The next target token y_t
- A token sampled from the validation set
- The maximum-probability output from an earlier training run
- La discrepanza tra train-test causata dalla forzatura dell'insegnante è nota come:
- Gradienti evanescenti
- Collasso della modalità
- Distorsione da esposizione
- Perdita dell'etichetta
- In un decodificatore Transformer, quale meccanismo consente alla formazione forzata dall'insegnante di funzionare in parallelo tra le posizioni?
- Abbandono
- Normalizzazione batch
- Ricerca del raggio
- Una maschera di attenzione causale (guarda avanti).
- Al momento dell'inferenza, perché non è possibile utilizzare la forzatura dell'insegnante?
- Non ci sono token futuri concreti da alimentare
- La funzione di perdita non è disponibile
- La GPU è troppo lenta
- Le maschere di attenzione sono disabilitate
- Quale perdita viene tipicamente utilizzata in ogni fase della formazione forzata da parte dell'insegnante?
- Errore quadratico medio sui logit grezzi
- Entropia incrociata tra la distribuzione prevista e il vero token successivo
- Perdita della cerniera negli incastri
- Perdita di similarità del coseno
- The target sequence is “red, blue, green.” Under teacher forcing, which token is supplied when training the prediction of “green”?
- The model’s prediction for “green”
- The future token after “green”
- The ground-truth previous token “blue”
- A randomly sampled vocabulary item
- At decoder position t, which tokens must a causal attention mask block?
- The source sequence
- All earlier target tokens
- The current position’s own input
- Target tokens at positions later than t