Quiz collegato alla guida · Difficile Livello
Streaming speculativo e quiz di previsione multi-token
Controlla le bozze delle proposte, la verifica del target, i prefissi accettati, le teste multi-token e il motivo per cui il tasso di accettazione influisce sulla velocità di decodifica.
Domanda 1 di 8
Perché la decodifica autoregressiva standard è spesso lenta su una GPU?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Perché la decodifica autoregressiva standard è spesso lenta su una GPU?
- I token vengono prodotti uno alla volta, lasciando la GPU sottoutilizzata per ogni passaggio
- La GPU esaurisce immediatamente la memoria
- Deve riqualificarsi su ogni gettone
- Il vocabolario è troppo piccolo
- Cosa fa un "disegnatore" nella decodificazione speculativa?
- Scrive da solo la risposta finale
- Propone diversi token futuri candidati a buon mercato
- Elimina i token a bassa probabilità
- Comprime i pesi del modello
- Come viene preservata la qualità dell'output nella decodifica speculativa?
- Arrotondando le probabilità a zero
- Utilizzando un vocabolario più ampio
- Tramite verifica che accetta solo token corrispondenti alla distribuzione target
- Saltando completamente la verifica
- Cosa distingue la previsione multi-token in stile Medusa dalla classica decodifica speculativa?
- Richiede due modelli grandi separati
- Funziona solo per la generazione di immagini
- Elimina la necessità di qualsiasi passaggio in avanti
- Aggiunge teste di previsione extra leggere in modo che un modello venga redatto e verificato
- Perché un trasformatore può verificare molte posizioni candidate con la stessa spesa di una durante la decodifica?
- Perché la decodifica è legata alla larghezza di banda della memoria, non al calcolo
- Perché memorizza nella cache l'intera Internet
- Perché la verifica salta i livelli di attenzione
- Perché la velocità di clock della GPU raddoppia
- Cosa determina principalmente l’accelerazione da metodi speculativi o multi-token?
- Il colore della GPU
- Il numero medio di token accettati per passaggio
- La lunghezza del nome del modello
- La dimensione del disco
- A draft proposes tokens A, B and C, but target verification first disagrees at B. Which proposal prefix can be accepted?
- A, B and C
- B and C only
- A, the matching prefix before the first mismatch
- None, even if A matches
- Why can speculative decoding preserve the target model’s output distribution?
- The drafter is guaranteed to be identical to the target
- The target model is never run
- All proposed tokens are accepted unconditionally
- A verification and correction rule accepts or rejects draft tokens according to the target distribution