Kvíz spojený s průvodcem · Těžko úroveň
Spekulativní dekódování s EAGLE kvízem
Kontroluje navrhování funkcí EAGLE, ověřování cíle, zachování distribuce, vkládání zpětné vazby, dynamické stromy návrhů a náklady na dekódování.
Otázka 1 z 8
Jaká je hlavní myšlenka spekulativního dekódování?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaká je hlavní myšlenka spekulativního dekódování?
- Levný návrhář navrhuje více tokenů, které velký model ověřuje v jednom paralelním průchodu
- Stlačování závaží modelu na poloviční přesnost
- Náhodné přeskakování vrstev sítě
- Ukládání všech možných výstupních vět předem
- Jak se EAGLE liší od dřívějších spekulativních dekódovacích přístupů?
- Zcela odstraní krok ověření
- Kreslí ve skrytém prostoru prvků modelu spíše než přímo na úrovni tokenu
- Jako návrhář používá zcela samostatný, větší model
- Funguje pouze pro generování obrazu
- Why is speculative decoding considered lossless when implemented with exact verification?
- Every draft token is accepted unconditionally
- The drafter always predicts the target’s next token
- The acceptance and correction procedure preserves the target model’s output distribution
- The target model is never evaluated
- Jaký problém v návrhu funkcí EAGLE pomáhá vyřešit vkládání zpětného tokenu?
- Fragmentace paměti na GPU
- Neshoda tokenizerů mezi jazyky
- Přehřívání hardwaru
- Nejistota/nejednoznačnost předpovědi dalšího rysu
- Co přidal EAGLE-2 oproti původnímu EAGLE?
- Dynamický strom návrhů, který přizpůsobuje počet kandidátů, které má navrhnout
- Opravený koncept s jedním žetonem
- Demontáž LM hlavy
- Školení pouze na dvojnásobku dat
- Proč autoregresivní úzké hrdlo zpomaluje generování obyčejných LLM?
- Model se po každém tokenu přeškolí
- Každý nový token potřebuje úplný dopředný průchod miliardami parametrů, než může začít další
- Tokeny se mezi jednotlivými kroky ukládají na disk
- GPU se musí restartovat na každý token
- After EAGLE predicts a hidden-state feature, which component turns that feature into candidate token probabilities?
- The tokenizer’s vocabulary file alone
- The optimizer’s momentum buffer
- The target model’s language-model head
- The KV-cache allocator
- What change does EAGLE-3 make to the original feature-drafting constraint?
- It replaces the target model with a tokenizer
- It disables target verification
- It requires a separate human drafter
- It removes a feature-prediction constraint to improve scaling