Útmutatóhoz kapcsolódó kvíz · Kemény Szint

Spekulatív streamelés és több token előrejelzési kvíz

Checks draft proposals, target verification, accepted prefixes, multi-token heads and why acceptance rate affects decoding speed.

kérdés 1 -ból 8

Miért lassú a szabványos autoregresszív dekódolás GPU-n?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Miért lassú a szabványos autoregresszív dekódolás GPU-n?
    • A tokeneket egyenként állítják elő, így a GPU lépésenként alulhasznált marad
    • A GPU memóriája azonnal elfogy
    • Minden tokennél újra kell képeznie
    • A szókincs túl kicsi
  2. Mit csinál a „drafter” a spekulatív dekódolás során?
    • Egyedül írja meg a végső választ
    • Számos jövőbeli jelzőt ajánl olcsón
    • Törli a kis valószínűségű tokeneket
    • Tömöríti a modell súlyait
  3. Hogyan őrizhető meg a kimeneti minőség a spekulatív dekódolás során?
    • A valószínűségek nullára kerekítésével
    • Nagyobb szókincs használatával
    • Olyan ellenőrzéssel, amely csak a céleloszlásnak megfelelő tokeneket fogad el
    • Az ellenőrzés teljes kihagyásával
  4. Mi különbözteti meg a Medusa-stílusú több token előrejelzést a klasszikus spekulatív dekódolástól?
    • Két különálló nagy modell szükséges hozzá
    • Csak képgenerálásnál működik
    • Megszünteti az előrepassz szükségességét
    • Extra könnyű előrejelző fejeket ad hozzá, így az egyik modell rajzol és ellenőriz
  5. Miért képes egy transzformátor sok jelölt pozíciót majdnem olyan olcsón ellenőrizni, mint egy dekódolás során?
    • Mivel a dekódolás memória sávszélességhez kötött, nem számításhoz
    • Mert gyorsítótárazza az egész internetet
    • Mert az ellenőrzés átugorja a figyelemrétegeket
    • Mert a GPU órajele megduplázódik
  6. Mi határozza meg elsősorban a spekulatív vagy multi-token módszerek gyorsítását?
    • A GPU színe
    • A lépésenként elfogadott tokenek átlagos száma
    • A modell nevének hossza
    • A lemez mérete
  7. A draft proposes tokens A, B and C, but target verification first disagrees at B. Which proposal prefix can be accepted?
    • A, B and C
    • B and C only
    • A, the matching prefix before the first mismatch
    • None, even if A matches
  8. Why can speculative decoding preserve the target model’s output distribution?
    • The drafter is guaranteed to be identical to the target
    • The target model is never run
    • All proposed tokens are accepted unconditionally
    • A verification and correction rule accepts or rejects draft tokens according to the target distribution