Kvíz spojený s průvodcem · Střední úroveň
Kvíz dekódovacích hlav Medusa
Prohlédněte si předpovědní hlavy s více tokeny Medusa, kandidátské stromy, ověření stromové pozornosti, přijetí nejdelší předpony a zachování distribuce.
Otázka 1 z 8
Co předpovídají hlavy Medúzy navíc?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co předpovídají hlavy Medúzy navíc?
- Více budoucích žetonů na různých pozicích před vámi
- Modelova tréninková ztráta
- Které GPU použít
- Popisek obrázku pro token
- Under which Medusa configuration does the paper describe lossless inference acceleration?
- Dokonale komprimuje závaží modelu
- Medusa-1 with a frozen backbone and exact verification against the original model
- Nikdy nedělá chyby v gramatice
- Odstraňuje potřebu slovní zásoby
- Do jaké struktury jsou uspořádána kandidátská pokračování Medusy pro ověření?
- Plochý seznam skóroval jeden po druhém
- Hašovací tabulka
- Strom skóroval v jediném průchodu s maskou stromové pozornosti
- Opakující se smyčka nad každým tokenem
- Jaká je klíčová výhoda Medusy oproti spekulativnímu dekódování modelu draftu?
- Vyžaduje dva samostatné velké modely
- Funguje pouze na obrázky
- Po použití odstraní základní model
- Vyhnete se tak nutnosti samostatného modelu návrhu přidáním hlav ke stávajícímu
- Přibližně jaké zrychlení Medusa obvykle hlásí?
- Asi 2-3x
- Asi 0,5x (pomalejší)
- Přesně 100x
- Žádná měřitelná změna
- Jaká je architektonicky každá jednotlivá hlava Medúzy?
- Plně duplicitní transformátor
- Malá zbytková dopředná vrstva (MLP) na horní straně skrytého stavu základny
- Konvoluční kodér obrazu
- Samostatný tokenizér
- What does Medusa accept from a verified candidate tree?
- Every speculative branch regardless of verification
- Only the shortest candidate token
- The longest prefix consistent with the base model’s decoding result
- A random leaf from the tree
- How do Medusa’s prediction-head offsets differ?
- Every head predicts the same next token
- Each head predicts a different vocabulary
- The heads predict tokens only after decoding is complete
- Each head predicts a token at a different position ahead in the sequence