Kvíz spojený s průvodcem · Těžko úroveň

Spekulativní streamování a multi-tokenový predikční kvíz

Kontroluje návrhy návrhů, ověření cíle, přijaté předpony, hlavy s více tokeny a proč míra přijetí ovlivňuje rychlost dekódování.

Otázka 1 z 8

Proč je standardní autoregresivní dekódování na GPU často pomalé?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Proč je standardní autoregresivní dekódování na GPU často pomalé?
    • Tokeny jsou vyráběny jeden po druhém, takže GPU je v každém kroku nevyužito
    • GPU okamžitě dojde paměť
    • Musí se přeškolit na každém žetonu
    • Slovní zásoba je příliš malá
  2. Co dělá 'návrhář' při spekulativním dekódování?
    • Konečnou odpověď napíše sám
    • Levně navrhuje několik budoucích tokenů kandidátů
    • Odstraní tokeny s nízkou pravděpodobností
    • Stlačuje závaží modelu
  3. Jak je zachována kvalita výstupu při spekulativním dekódování?
    • Zaokrouhlením pravděpodobností na nulu
    • Použitím větší slovní zásoby
    • Ověřením, které přijímá pouze tokeny odpovídající cílové distribuci
    • Úplným vynecháním ověření
  4. Co odlišuje predikci více tokenů ve stylu Medusa od klasického spekulativního dekódování?
    • Vyžaduje dva samostatné velké modely
    • Funguje pouze pro generování obrazu
    • Odstraňuje potřebu jakékoli přihrávky vpřed
    • Přidává extra lehké predikční hlavy, takže jeden model kreslí a ověřuje
  5. Proč může transformátor ověřit mnoho kandidátských pozic téměř tak levně jako jeden během dekódování?
    • Protože dekódování je vázáno na šířku pásma paměti, nikoli na výpočet
    • Protože ukládá do mezipaměti celý internet
    • Protože ověření přeskakuje vrstvy pozornosti
    • Protože se takt GPU zdvojnásobí
  6. Co primárně určuje zrychlení ze spekulativních nebo vícetokenových metod?
    • Barva GPU
    • Průměrný počet přijatých tokenů na krok
    • Délka jména modelu
    • Velikost disku
  7. A draft proposes tokens A, B and C, but target verification first disagrees at B. Which proposal prefix can be accepted?
    • A, B and C
    • B and C only
    • A, the matching prefix before the first mismatch
    • None, even if A matches
  8. Why can speculative decoding preserve the target model’s output distribution?
    • The drafter is guaranteed to be identical to the target
    • The target model is never run
    • All proposed tokens are accepted unconditionally
    • A verification and correction rule accepts or rejects draft tokens according to the target distribution