Quiz collegato alla guida · Medio Livello

Quiz sulla previsione del token successivo

Esaminare la formazione del modello linguistico autoregressivo, il contesto causale, la forzatura dell'insegnante e la differenza tra formazione e generazione.

Percorsi guida correlatiProssima previsione del token
Domanda 1 di 8

Che cosa restituisce il modello di previsione del token successivo in ogni passaggio?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Che cosa restituisce il modello di previsione del token successivo in ogni passaggio?
    • Una distribuzione di probabilità sul vocabolario per il token successivo
    • Una sola parola fissa
    • Una traduzione della frase
    • Un punteggio grammaticale
  2. Che tipo di attenzione utilizza un decoder in stile GPT?
    • Attenzione bidirezionale
    • Attenzione causale (mascherata) che nasconde i token futuri
    • Nessuna attenzione
    • Attenzione casuale
  3. Cosa significa qui generazione "autoregressiva"?
    • Il modello genera tutti i token contemporaneamente
    • Il modello regredisce ad un valore medio
    • Ogni nuovo token viene aggiunto e reinserito per prevedere quello successivo
    • I token vengono generati in ordine casuale
  4. Quale funzione di perdita viene tipicamente minimizzata durante l'allenamento?
    • Errore quadratico medio
    • Perdita della cerniera
    • Distanza coseno
    • Entropia incrociata sul token successivo
  5. Cosa comporta l'aumento della temperatura durante il campionamento?
    • Rende l'output più casuale e creativo
    • Rende l'output strettamente deterministico
    • Aumenta la dimensione del vocabolario
    • Rimuove lo strato softmax
  6. Prima della previsione, come viene solitamente preparato il testo grezzo?
    • È tradotto in inglese
    • Viene suddiviso in token da un tokenizzatore
    • Viene convertito in audio
    • Viene lasciato come carattere grezzo senza elaborazione
  7. During next-token training, what is teacher forcing?
    • The model receives future target tokens before the input
    • The model randomly changes the tokenizer at every step
    • The model receives the ground-truth preceding tokens when predicting the next token
    • The model always samples its own previous prediction during training
  8. What mismatch can arise because generation feeds back model-produced tokens?
    • The model can no longer use attention
    • The vocabulary disappears after the first token
    • The model’s loss is computed only on images
    • Errors in generated prefixes can affect later predictions, unlike training on the ground-truth prefix