Kvíz spojený s průvodcem · Těžko úroveň

Spekulativní dekódování s EAGLE kvízem

Kontroluje navrhování funkcí EAGLE, ověřování cíle, zachování distribuce, vkládání zpětné vazby, dynamické stromy návrhů a náklady na dekódování.

Související vodicí cestySpekulativní Dekódování S Orlem
Otázka 1 z 8

Jaká je hlavní myšlenka spekulativního dekódování?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaká je hlavní myšlenka spekulativního dekódování?
    • Levný návrhář navrhuje více tokenů, které velký model ověřuje v jednom paralelním průchodu
    • Stlačování závaží modelu na poloviční přesnost
    • Náhodné přeskakování vrstev sítě
    • Ukládání všech možných výstupních vět předem
  2. Jak se EAGLE liší od dřívějších spekulativních dekódovacích přístupů?
    • Zcela odstraní krok ověření
    • Kreslí ve skrytém prostoru prvků modelu spíše než přímo na úrovni tokenu
    • Jako návrhář používá zcela samostatný, větší model
    • Funguje pouze pro generování obrazu
  3. Why is speculative decoding considered lossless when implemented with exact verification?
    • Every draft token is accepted unconditionally
    • The drafter always predicts the target’s next token
    • The acceptance and correction procedure preserves the target model’s output distribution
    • The target model is never evaluated
  4. Jaký problém v návrhu funkcí EAGLE pomáhá vyřešit vkládání zpětného tokenu?
    • Fragmentace paměti na GPU
    • Neshoda tokenizerů mezi jazyky
    • Přehřívání hardwaru
    • Nejistota/nejednoznačnost předpovědi dalšího rysu
  5. Co přidal EAGLE-2 oproti původnímu EAGLE?
    • Dynamický strom návrhů, který přizpůsobuje počet kandidátů, které má navrhnout
    • Opravený koncept s jedním žetonem
    • Demontáž LM hlavy
    • Školení pouze na dvojnásobku dat
  6. Proč autoregresivní úzké hrdlo zpomaluje generování obyčejných LLM?
    • Model se po každém tokenu přeškolí
    • Každý nový token potřebuje úplný dopředný průchod miliardami parametrů, než může začít další
    • Tokeny se mezi jednotlivými kroky ukládají na disk
    • GPU se musí restartovat na každý token
  7. After EAGLE predicts a hidden-state feature, which component turns that feature into candidate token probabilities?
    • The tokenizer’s vocabulary file alone
    • The optimizer’s momentum buffer
    • The target model’s language-model head
    • The KV-cache allocator
  8. What change does EAGLE-3 make to the original feature-drafting constraint?
    • It replaces the target model with a tokenizer
    • It disables target verification
    • It requires a separate human drafter
    • It removes a feature-prediction constraint to improve scaling