Quiz collegato alla guida · Difficile Livello

Decodifica speculativa con EAGLE Quiz

Controlla la stesura delle funzionalità di EAGLE, la verifica del target, la conservazione della distribuzione, gli incorporamenti di feedback, gli alberi di bozza dinamici e il costo di decodifica.

Percorsi guida correlatiDecodifica speculativa con Eagle
Domanda 1 di 8

Qual è l'idea centrale dietro la decodifica speculativa?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Qual è l'idea centrale dietro la decodifica speculativa?
    • Un redattore economico propone più token che il modello di grandi dimensioni verifica in un passaggio parallelo
    • Compressione dei pesi del modello a metà precisione
    • Saltare gli strati della rete in modo casuale
    • Memorizzazione nella cache di ogni possibile frase di output in anticipo
  2. In che modo EAGLE differisce dai precedenti approcci di decodifica speculativa?
    • Rimuove completamente la fase di verifica
    • Viene disegnato nello spazio delle caratteristiche nascoste del modello anziché direttamente a livello di token
    • Utilizza un modello completamente separato e più grande come disegnatore
    • Funziona solo per la generazione di immagini
  3. Why is speculative decoding considered lossless when implemented with exact verification?
    • Every draft token is accepted unconditionally
    • The drafter always predicts the target’s next token
    • The acceptance and correction procedure preserves the target model’s output distribution
    • The target model is never evaluated
  4. Quale problema nella stesura delle funzionalità di EAGLE aiuta a risolvere il feedback dell'incorporamento del token precedente?
    • Frammentazione della memoria sulla GPU
    • Mancata corrispondenza del tokenizzatore tra le lingue
    • Surriscaldamento dell'hardware
    • L’incertezza/ambiguità nel prevedere la caratteristica successiva
  5. Cosa ha aggiunto EAGLE-2 rispetto all'EAGLE originale?
    • Un albero di bozza dinamico che adatta il numero di candidati da proporre
    • Una bozza fissa a gettone singolo
    • Rimozione della testa LM
    • Formazione solo sul doppio dei dati
  6. Perché il collo di bottiglia autoregressivo rallenta la semplice generazione di LLM?
    • Il modello si riqualifica dopo ogni segnalino
    • Ogni nuovo token necessita di un passaggio completo attraverso miliardi di parametri prima che possa iniziare quello successivo
    • I token vengono archiviati su disco tra i passaggi
    • La GPU deve riavviarsi per token
  7. After EAGLE predicts a hidden-state feature, which component turns that feature into candidate token probabilities?
    • The tokenizer’s vocabulary file alone
    • The optimizer’s momentum buffer
    • The target model’s language-model head
    • The KV-cache allocator
  8. What change does EAGLE-3 make to the original feature-drafting constraint?
    • It replaces the target model with a tokenizer
    • It disables target verification
    • It requires a separate human drafter
    • It removes a feature-prediction constraint to improve scaling