Útmutatóhoz kapcsolódó kvíz · Kemény Szint

Spekulatív dekódolás EAGLE kvízzel

Checks EAGLE feature drafting, target verification, distribution preservation, feedback embeddings, dynamic draft trees and decode cost.

Kapcsolódó útmutató utakSpekulatív dekódolás Eagle-lel
kérdés 1 -ból 8

Mi a spekulatív dekódolás alapötlete?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mi a spekulatív dekódolás alapötlete?
    • Egy olcsó rajzoló több tokent javasol, amelyeket a nagy modell egy párhuzamos menetben ellenőriz
    • A modell súlyainak fél pontosságú tömörítése
    • A hálózat rétegeinek véletlenszerű átugrása
    • Minden lehetséges kimeneti mondat előre gyorsítótárazása
  2. Miben különbözik az EAGLE a korábbi spekulatív dekódolási megközelítésektől?
    • Teljesen eltávolítja az ellenőrzési lépést
    • Inkább a modell rejtett terében rajzol, mint közvetlenül a token szintjén
    • Tervezőként egy teljesen különálló, nagyobb modellt használ
    • Csak képgenerálásnál működik
  3. Why is speculative decoding considered lossless when implemented with exact verification?
    • Every draft token is accepted unconditionally
    • The drafter always predicts the target’s next token
    • The acceptance and correction procedure preserves the target model’s output distribution
    • The target model is never evaluated
  4. Milyen problémát segít megoldani az EAGLE jellemző vázlatában az előző token beágyazás visszacsatolása?
    • Memóriatöredezettség a GPU-n
    • Tokenizátor eltérés a nyelvek között
    • A hardver túlmelegedése
    • A következő jellemző előrejelzésének bizonytalansága/kétértelműsége
  5. Mit tett hozzá az EAGLE-2 az eredeti EAGLE-hez?
    • Dinamikus vázlatfa, amely hozzáigazítja a javasolt jelöltek számát
    • Rögzített single-token piszkozat
    • Az LM fej eltávolítása
    • Képzés csak kétszeres adatra
  6. Miért lassítja az autoregresszív szűk keresztmetszet a sima LLM generációt?
    • A modell minden token után újraképzi magát
    • Minden új tokennek teljes előrehaladást kell végrehajtania több milliárd paraméteren, mielőtt a következő elkezdődhet
    • A tokenek a lemezen tárolódnak a lépések között
    • A GPU-nak tokenenként újra kell indulnia
  7. After EAGLE predicts a hidden-state feature, which component turns that feature into candidate token probabilities?
    • The tokenizer’s vocabulary file alone
    • The optimizer’s momentum buffer
    • The target model’s language-model head
    • The KV-cache allocator
  8. What change does EAGLE-3 make to the original feature-drafting constraint?
    • It replaces the target model with a tokenizer
    • It disables target verification
    • It requires a separate human drafter
    • It removes a feature-prediction constraint to improve scaling