Útmutatóhoz kapcsolódó kvíz · Kemény Szint
Spekulatív dekódolás EAGLE kvízzel
Checks EAGLE feature drafting, target verification, distribution preservation, feedback embeddings, dynamic draft trees and decode cost.
kérdés 1 -ból 8
Mi a spekulatív dekódolás alapötlete?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mi a spekulatív dekódolás alapötlete?
- Egy olcsó rajzoló több tokent javasol, amelyeket a nagy modell egy párhuzamos menetben ellenőriz
- A modell súlyainak fél pontosságú tömörítése
- A hálózat rétegeinek véletlenszerű átugrása
- Minden lehetséges kimeneti mondat előre gyorsítótárazása
- Miben különbözik az EAGLE a korábbi spekulatív dekódolási megközelítésektől?
- Teljesen eltávolítja az ellenőrzési lépést
- Inkább a modell rejtett terében rajzol, mint közvetlenül a token szintjén
- Tervezőként egy teljesen különálló, nagyobb modellt használ
- Csak képgenerálásnál működik
- Why is speculative decoding considered lossless when implemented with exact verification?
- Every draft token is accepted unconditionally
- The drafter always predicts the target’s next token
- The acceptance and correction procedure preserves the target model’s output distribution
- The target model is never evaluated
- Milyen problémát segít megoldani az EAGLE jellemző vázlatában az előző token beágyazás visszacsatolása?
- Memóriatöredezettség a GPU-n
- Tokenizátor eltérés a nyelvek között
- A hardver túlmelegedése
- A következő jellemző előrejelzésének bizonytalansága/kétértelműsége
- Mit tett hozzá az EAGLE-2 az eredeti EAGLE-hez?
- Dinamikus vázlatfa, amely hozzáigazítja a javasolt jelöltek számát
- Rögzített single-token piszkozat
- Az LM fej eltávolítása
- Képzés csak kétszeres adatra
- Miért lassítja az autoregresszív szűk keresztmetszet a sima LLM generációt?
- A modell minden token után újraképzi magát
- Minden új tokennek teljes előrehaladást kell végrehajtania több milliárd paraméteren, mielőtt a következő elkezdődhet
- A tokenek a lemezen tárolódnak a lépések között
- A GPU-nak tokenenként újra kell indulnia
- After EAGLE predicts a hidden-state feature, which component turns that feature into candidate token probabilities?
- The tokenizer’s vocabulary file alone
- The optimizer’s momentum buffer
- The target model’s language-model head
- The KV-cache allocator
- What change does EAGLE-3 make to the original feature-drafting constraint?
- It replaces the target model with a tokenizer
- It disables target verification
- It requires a separate human drafter
- It removes a feature-prediction constraint to improve scaling