Spekulacyjny streaming i quiz dotyczący przewidywania wielu tokenów

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Dlaczego standardowe dekodowanie autoregresyjne często działa wolno na GPU?
   • Tokeny są produkowane pojedynczo, przez co procesor graficzny jest niedostatecznie wykorzystywany na każdym kroku
   • GPU natychmiast kończy się pamięć
   • Musi przeszkolić się na każdym tokenie
   • Słownictwo jest za małe
2. Co robi „kreślarz” przy dekodowaniu spekulatywnym?
   • Samodzielnie zapisuje ostateczną odpowiedź
   • Proponuje tanio kilka potencjalnych tokenów futures
   • Usuwa tokeny o niskim prawdopodobieństwie
   • Kompresuje ciężary modelu
3. W jaki sposób zachowywana jest jakość wyjściowa w dekodowaniu spekulatywnym?
   • Zaokrąglając prawdopodobieństwa do zera
   • Używając szerszego słownictwa
   • Poprzez weryfikację, która akceptuje tylko tokeny pasujące do docelowej dystrybucji
   • Całkowicie pomijając weryfikację
4. Co odróżnia wielotokenowe przewidywanie w stylu Meduzy od klasycznego dekodowania spekulatywnego?
   • Wymaga dwóch oddzielnych dużych modeli
   • Działa tylko przy generowaniu obrazu
   • Eliminuje to potrzebę podawania do przodu
   • Dodaje dodatkowe, lekkie głowice prognostyczne, dzięki czemu jeden model może szkicować i weryfikować
5. Dlaczego transformator może zweryfikować wiele pozycji kandydatów prawie tak samo tanio, jak podczas dekodowania?
   • Ponieważ dekodowanie jest powiązane z przepustowością pamięci, a nie z obliczeniami
   • Ponieważ buforuje cały Internet
   • Ponieważ weryfikacja pomija warstwy uwagi
   • Ponieważ prędkość zegara GPU podwaja się
6. Od czego przede wszystkim zależy przyspieszenie metod spekulacyjnych czy wielotokenowych?
   • Kolor procesora graficznego
   • Średnia liczba tokenów akceptowanych na krok
   • Długość nazwy modelu
   • Rozmiar dysku
7. A draft proposes tokens A, B and C, but target verification first disagrees at B. Which proposal prefix can be accepted?
   • A, B and C
   • B and C only
   • A, the matching prefix before the first mismatch
   • None, even if A matches
8. Why can speculative decoding preserve the target model’s output distribution?
   • The drafter is guaranteed to be identical to the target
   • The target model is never run
   • All proposed tokens are accepted unconditionally
   • A verification and correction rule accepts or rejects draft tokens according to the target distribution