Kvíz spojený s průvodcem · Těžko úroveň
Spekulativní streamování a multi-tokenový predikční kvíz
Kontroluje návrhy návrhů, ověření cíle, přijaté předpony, hlavy s více tokeny a proč míra přijetí ovlivňuje rychlost dekódování.
Otázka 1 z 8
Proč je standardní autoregresivní dekódování na GPU často pomalé?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Proč je standardní autoregresivní dekódování na GPU často pomalé?
- Tokeny jsou vyráběny jeden po druhém, takže GPU je v každém kroku nevyužito
- GPU okamžitě dojde paměť
- Musí se přeškolit na každém žetonu
- Slovní zásoba je příliš malá
- Co dělá 'návrhář' při spekulativním dekódování?
- Konečnou odpověď napíše sám
- Levně navrhuje několik budoucích tokenů kandidátů
- Odstraní tokeny s nízkou pravděpodobností
- Stlačuje závaží modelu
- Jak je zachována kvalita výstupu při spekulativním dekódování?
- Zaokrouhlením pravděpodobností na nulu
- Použitím větší slovní zásoby
- Ověřením, které přijímá pouze tokeny odpovídající cílové distribuci
- Úplným vynecháním ověření
- Co odlišuje predikci více tokenů ve stylu Medusa od klasického spekulativního dekódování?
- Vyžaduje dva samostatné velké modely
- Funguje pouze pro generování obrazu
- Odstraňuje potřebu jakékoli přihrávky vpřed
- Přidává extra lehké predikční hlavy, takže jeden model kreslí a ověřuje
- Proč může transformátor ověřit mnoho kandidátských pozic téměř tak levně jako jeden během dekódování?
- Protože dekódování je vázáno na šířku pásma paměti, nikoli na výpočet
- Protože ukládá do mezipaměti celý internet
- Protože ověření přeskakuje vrstvy pozornosti
- Protože se takt GPU zdvojnásobí
- Co primárně určuje zrychlení ze spekulativních nebo vícetokenových metod?
- Barva GPU
- Průměrný počet přijatých tokenů na krok
- Délka jména modelu
- Velikost disku
- A draft proposes tokens A, B and C, but target verification first disagrees at B. Which proposal prefix can be accepted?
- A, B and C
- B and C only
- A, the matching prefix before the first mismatch
- None, even if A matches
- Why can speculative decoding preserve the target model’s output distribution?
- The drafter is guaranteed to be identical to the target
- The target model is never run
- All proposed tokens are accepted unconditionally
- A verification and correction rule accepts or rejects draft tokens according to the target distribution