Quiz collegato alla guida · Difficile Livello

Streaming speculativo e quiz di previsione multi-token

Controlla le bozze delle proposte, la verifica del target, i prefissi accettati, le teste multi-token e il motivo per cui il tasso di accettazione influisce sulla velocità di decodifica.

Domanda 1 di 8

Perché la decodifica autoregressiva standard è spesso lenta su una GPU?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Perché la decodifica autoregressiva standard è spesso lenta su una GPU?
    • I token vengono prodotti uno alla volta, lasciando la GPU sottoutilizzata per ogni passaggio
    • La GPU esaurisce immediatamente la memoria
    • Deve riqualificarsi su ogni gettone
    • Il vocabolario è troppo piccolo
  2. Cosa fa un "disegnatore" nella decodificazione speculativa?
    • Scrive da solo la risposta finale
    • Propone diversi token futuri candidati a buon mercato
    • Elimina i token a bassa probabilità
    • Comprime i pesi del modello
  3. Come viene preservata la qualità dell'output nella decodifica speculativa?
    • Arrotondando le probabilità a zero
    • Utilizzando un vocabolario più ampio
    • Tramite verifica che accetta solo token corrispondenti alla distribuzione target
    • Saltando completamente la verifica
  4. Cosa distingue la previsione multi-token in stile Medusa dalla classica decodifica speculativa?
    • Richiede due modelli grandi separati
    • Funziona solo per la generazione di immagini
    • Elimina la necessità di qualsiasi passaggio in avanti
    • Aggiunge teste di previsione extra leggere in modo che un modello venga redatto e verificato
  5. Perché un trasformatore può verificare molte posizioni candidate con la stessa spesa di una durante la decodifica?
    • Perché la decodifica è legata alla larghezza di banda della memoria, non al calcolo
    • Perché memorizza nella cache l'intera Internet
    • Perché la verifica salta i livelli di attenzione
    • Perché la velocità di clock della GPU raddoppia
  6. Cosa determina principalmente l’accelerazione da metodi speculativi o multi-token?
    • Il colore della GPU
    • Il numero medio di token accettati per passaggio
    • La lunghezza del nome del modello
    • La dimensione del disco
  7. A draft proposes tokens A, B and C, but target verification first disagrees at B. Which proposal prefix can be accepted?
    • A, B and C
    • B and C only
    • A, the matching prefix before the first mismatch
    • None, even if A matches
  8. Why can speculative decoding preserve the target model’s output distribution?
    • The drafter is guaranteed to be identical to the target
    • The target model is never run
    • All proposed tokens are accepted unconditionally
    • A verification and correction rule accepts or rejects draft tokens according to the target distribution