Quiz weryfikujący próbkowanie spekulatywne

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaka jest podstawowa idea próbkowania spekulatywnego?
   • Użyj małego modelu roboczego, aby zaproponować wiele tokenów, które duży model weryfikuje równolegle
   • Wytrenuj jeden gigantyczny model, aby dynamicznie pomijał warstwy
   • Zapisz z wyprzedzeniem każde możliwe zdanie
   • Zastąp próbkowanie zachłannym dekodowaniem, aby zaoszczędzić czas
2. Dlaczego próbkowanie spekulatywne nie pogarsza jakości wyników?
   • Ponieważ projekt modelu jest zawsze poprawny
   • Ponieważ reguła weryfikacji sprawia, że ostateczny rozkład jest identyczny z czystym próbkowaniem docelowym
   • Ponieważ działa tylko w przypadku krótkich podpowiedzi
   • Ponieważ uśrednia wyniki obu modeli
3. In exact speculative sampling, what happens when a drafted token is rejected?
   • It outputs the rejected draft token unchanged
   • It discards the entire conversation and restarts
   • The algorithm samples from a corrected residual distribution at that position
   • It permanently changes the target model
4. Under exact speculative sampling, what is guaranteed about the output distribution?
   • It is always deterministic
   • It matches the draft model’s distribution instead
   • It is more diverse than every target-model output
   • It matches the target model’s sampling distribution
5. What information does the target verification pass provide in exact speculative sampling?
   • Target probabilities for proposed positions, used for acceptance tests and residual resampling
   • A guarantee that no target-model computation is needed
   • Only the draft model’s next-token distribution
   • A corrected token sequence without any sampling
6. Which description correctly distinguishes two self-speculative approaches?
   • Both use only an unrelated small draft model
   • Medusa adds prediction heads, while EAGLE uses feature-space proposals
   • Medusa is a tokenizer and EAGLE is a reward model
   • Both remove the target model from decoding
7. The draft assigns probability 0.8 to a token and the target assigns 0.4. What is the speculative acceptance probability?
   • 0,2
   • 0,4
   • 0,5
   • 1,0
8. What most limits speculative sampling’s realized speedup?
   • The color of the model’s interface
   • The target model’s name length
   • Whether the prompt contains punctuation
   • The draft-model cost and how much proposed work the target accepts