Dekodowanie spekulatywne za pomocą quizu EAGLE

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaka jest główna idea dekodowania spekulatywnego?
   • Tani kreślarz proponuje wiele tokenów, które duży model weryfikuje w jednym równoległym przebiegu
   • Kompresja ciężarów modelu do połowy precyzji
   • Losowe pomijanie warstw sieci
   • Buforowanie każdego możliwego zdania wyjściowego z wyprzedzeniem
2. Czym EAGLE różni się od wcześniejszych metod dekodowania spekulatywnego?
   • Całkowicie eliminuje etap weryfikacji
   • Rysuje w ukrytej przestrzeni funkcji modelu, a nie bezpośrednio na poziomie tokenu
   • Jako kreślarz wykorzystuje zupełnie odrębny, większy model
   • Działa tylko przy generowaniu obrazu
3. Why is speculative decoding considered lossless when implemented with exact verification?
   • Every draft token is accepted unconditionally
   • The drafter always predicts the target’s next token
   • The acceptance and correction procedure preserves the target model’s output distribution
   • The target model is never evaluated
4. Jaki problem w opracowywaniu funkcji EAGLE pomaga rozwiązać informacja zwrotna o osadzeniu poprzedniego tokena?
   • Fragmentacja pamięci na GPU
   • Niezgodność tokenizera między językami
   • Przegrzanie sprzętu
   • Niepewność/niejednoznaczność przewidywania następnej cechy
5. Co EAGLE-2 dodał do oryginalnego EAGLE?
   • Dynamiczne drzewo wersji roboczych, które dostosowuje liczbę kandydatów do zaproponowania
   • Stała wersja robocza z jednym żetonem
   • Usunięcie głowy LM
   • Trening tylko na dwukrotnie większej liczbie danych
6. Dlaczego wąskie gardło autoregresyjne spowalnia generowanie LLM?
   • Model ponownie się uczy po każdym tokenie
   • Każdy nowy token wymaga pełnego przejścia w przód przez miliardy parametrów, zanim będzie mógł rozpocząć się następny
   • Tokeny przechowywane są na dysku pomiędzy krokami
   • Procesor graficzny musi zostać ponownie uruchomiony na każdy token
7. After EAGLE predicts a hidden-state feature, which component turns that feature into candidate token probabilities?
   • The tokenizer’s vocabulary file alone
   • The optimizer’s momentum buffer
   • The target model’s language-model head
   • The KV-cache allocator
8. What change does EAGLE-3 make to the original feature-drafting constraint?
   • It replaces the target model with a tokenizer
   • It disables target verification
   • It requires a separate human drafter
   • It removes a feature-prediction constraint to improve scaling