Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Medusa dekódoló fejek kvíz
Review Medusa’s multi-token prediction heads, candidate trees, tree-attention verification, longest-prefix acceptance, and distribution preservation.
kérdés 1 -ból 8
Mit jósolnak az extra Medusa fejek?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mit jósolnak az extra Medusa fejek?
- Több jövőbeli token különböző pozíciókban előre
- A modell edzésvesztesége
- Melyik GPU-t használja
- A token képaláírása
- Under which Medusa configuration does the paper describe lossless inference acceleration?
- Tökéletesen összenyomja a modell súlyait
- Medusa-1 with a frozen backbone and exact verification against the original model
- Nyelvtanban soha nem hibázik
- Megszünteti a szókincs szükségességét
- Milyen struktúrába vannak rendezve a Medusa jelölt folytatásai ellenőrzés céljából?
- Egyenként pontozott lapos lista
- Egy hash tábla
- Egyetlen passzban pontozott fa fafigyelő maszkkal
- Ismétlődő hurok minden token felett
- Mi a Medusa legfontosabb előnye a vázlatmodell spekulatív dekódolásával szemben?
- Két különálló nagy modell szükséges hozzá
- Csak képeken működik
- Használat után törli az alapmodellt
- Ezzel elkerülhető, hogy külön vázlatmodellre legyen szükség azáltal, hogy fejeket ad hozzá a meglévőhöz
- Nagyjából milyen gyorsulásról számol be a Medusa?
- 2-3x kb
- Körülbelül 0,5x (lassabb)
- Pontosan 100x
- Nincs mérhető változás
- Milyen az egyes Medúza feje építészetileg?
- Teljes duplikált transzformátor
- Egy kis maradék előtolási (MLP) réteg az alap rejtett állapot tetején
- Konvolúciós képkódoló
- Külön tokenizátor
- What does Medusa accept from a verified candidate tree?
- Every speculative branch regardless of verification
- Only the shortest candidate token
- The longest prefix consistent with the base model’s decoding result
- A random leaf from the tree
- How do Medusa’s prediction-head offsets differ?
- Every head predicts the same next token
- Each head predicts a different vocabulary
- The heads predict tokens only after decoding is complete
- Each head predicts a token at a different position ahead in the sequence