Quiz collegato alla guida · Medio Livello
Quiz sulla previsione del token successivo
Esaminare la formazione del modello linguistico autoregressivo, il contesto causale, la forzatura dell'insegnante e la differenza tra formazione e generazione.
Domanda 1 di 8
Che cosa restituisce il modello di previsione del token successivo in ogni passaggio?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Che cosa restituisce il modello di previsione del token successivo in ogni passaggio?
- Una distribuzione di probabilità sul vocabolario per il token successivo
- Una sola parola fissa
- Una traduzione della frase
- Un punteggio grammaticale
- Che tipo di attenzione utilizza un decoder in stile GPT?
- Attenzione bidirezionale
- Attenzione causale (mascherata) che nasconde i token futuri
- Nessuna attenzione
- Attenzione casuale
- Cosa significa qui generazione "autoregressiva"?
- Il modello genera tutti i token contemporaneamente
- Il modello regredisce ad un valore medio
- Ogni nuovo token viene aggiunto e reinserito per prevedere quello successivo
- I token vengono generati in ordine casuale
- Quale funzione di perdita viene tipicamente minimizzata durante l'allenamento?
- Errore quadratico medio
- Perdita della cerniera
- Distanza coseno
- Entropia incrociata sul token successivo
- Cosa comporta l'aumento della temperatura durante il campionamento?
- Rende l'output più casuale e creativo
- Rende l'output strettamente deterministico
- Aumenta la dimensione del vocabolario
- Rimuove lo strato softmax
- Prima della previsione, come viene solitamente preparato il testo grezzo?
- È tradotto in inglese
- Viene suddiviso in token da un tokenizzatore
- Viene convertito in audio
- Viene lasciato come carattere grezzo senza elaborazione
- During next-token training, what is teacher forcing?
- The model receives future target tokens before the input
- The model randomly changes the tokenizer at every step
- The model receives the ground-truth preceding tokens when predicting the next token
- The model always samples its own previous prediction during training
- What mismatch can arise because generation feeds back model-produced tokens?
- The model can no longer use attention
- The vocabulary disappears after the first token
- The model’s loss is computed only on images
- Errors in generated prefixes can affect later predictions, unlike training on the ground-truth prefix