Útmutatóhoz kapcsolódó kvíz · Kemény Szint
Spekulatív streamelés és több token előrejelzési kvíz
Checks draft proposals, target verification, accepted prefixes, multi-token heads and why acceptance rate affects decoding speed.
kérdés 1 -ból 8
Miért lassú a szabványos autoregresszív dekódolás GPU-n?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Miért lassú a szabványos autoregresszív dekódolás GPU-n?
- A tokeneket egyenként állítják elő, így a GPU lépésenként alulhasznált marad
- A GPU memóriája azonnal elfogy
- Minden tokennél újra kell képeznie
- A szókincs túl kicsi
- Mit csinál a „drafter” a spekulatív dekódolás során?
- Egyedül írja meg a végső választ
- Számos jövőbeli jelzőt ajánl olcsón
- Törli a kis valószínűségű tokeneket
- Tömöríti a modell súlyait
- Hogyan őrizhető meg a kimeneti minőség a spekulatív dekódolás során?
- A valószínűségek nullára kerekítésével
- Nagyobb szókincs használatával
- Olyan ellenőrzéssel, amely csak a céleloszlásnak megfelelő tokeneket fogad el
- Az ellenőrzés teljes kihagyásával
- Mi különbözteti meg a Medusa-stílusú több token előrejelzést a klasszikus spekulatív dekódolástól?
- Két különálló nagy modell szükséges hozzá
- Csak képgenerálásnál működik
- Megszünteti az előrepassz szükségességét
- Extra könnyű előrejelző fejeket ad hozzá, így az egyik modell rajzol és ellenőriz
- Miért képes egy transzformátor sok jelölt pozíciót majdnem olyan olcsón ellenőrizni, mint egy dekódolás során?
- Mivel a dekódolás memória sávszélességhez kötött, nem számításhoz
- Mert gyorsítótárazza az egész internetet
- Mert az ellenőrzés átugorja a figyelemrétegeket
- Mert a GPU órajele megduplázódik
- Mi határozza meg elsősorban a spekulatív vagy multi-token módszerek gyorsítását?
- A GPU színe
- A lépésenként elfogadott tokenek átlagos száma
- A modell nevének hossza
- A lemez mérete
- A draft proposes tokens A, B and C, but target verification first disagrees at B. Which proposal prefix can be accepted?
- A, B and C
- B and C only
- A, the matching prefix before the first mismatch
- None, even if A matches
- Why can speculative decoding preserve the target model’s output distribution?
- The drafter is guaranteed to be identical to the target
- The target model is never run
- All proposed tokens are accepted unconditionally
- A verification and correction rule accepts or rejects draft tokens according to the target distribution