Zdezagregowany quiz dotyczący wstępnego wypełniania i dekodowania

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaki jest główny powód sprzętowy rozdzielania wstępnego wypełniania i dekodowania na różne pule procesorów graficznych?
   • Wypełnianie wstępne jest powiązane z obliczeniami, a dekodowanie jest ograniczone przepustowością pamięci
   • Używają różnych języków programowania
   • Dekodowanie wymaga więcej energii niż wstępne napełnienie
   • Funkcja wstępnego wypełniania nie może w ogóle działać na procesorach graficznych
2. Jaką strukturę danych należy przenieść z procesów roboczych wstępnego wypełniania do procesów roboczych dekodujących?
   • Model waży
   • Pamięć podręczna KV (klucz-wartość).
   • Słownictwo tokenizera
   • Stan optymalizatora
3. Który problem w szczególności zmniejsza dezagregacja w przypadku konfiguracji ze współdzieloną kartą graficzną?
   • Awaria sterownika GPU
   • Utrata pakietów sieciowych w Internecie
   • Blokowanie nagłówka linii, w przypadku którego długie wypełnienie wstępne wstrzymuje dekodowanie innych osób
   • Modelowa halucynacja
4. Dlaczego wstępne wypełnienie może być agresywne wsadowo, ale dekodowanie przynosi korzyści z innego dostrajania?
   • Dekodowanie nigdy nie korzysta z procesora graficznego
   • Wstępne wypełnienie jest uruchamiane tylko raz dziennie
   • Dozowanie nie jest możliwe podczas wstępnego napełniania
   • Tokeny wstępnego wypełnienia są odczytywane równolegle, maksymalizując wykorzystanie mocy obliczeniowej na przebieg
5. Które połączenia międzysieciowe są zwykle używane do przenoszenia pamięci podręcznej KV pomiędzy zdezagregowanymi pulami?
   • NVLink lub InfiniBand
   • Modemy telefoniczne
   • Kable USB 2.0
   • Bluetooth
6. Które nazwane systemy są powiązane ze zdezagregowanym udostępnianiem wstępnego wypełniania/dekodowania?
   • TCP, UDP i HTTP
   • DistServe, Splitwise i Mooncake
   • Worda, Excela i PowerPointa
   • JPEG, PNG i GIF
7. Why must the KV cache produced during prefill be available to the decode workers?
   • It contains the model’s optimizer state
   • It stores the user’s GPU allocation
   • Decode uses cached prompt keys and values to generate subsequent tokens without recomputing the whole prompt
   • It is needed only to calculate validation accuracy
8. What is a resource-allocation benefit of separating prefill and decode pools?
   • Both phases must use identical batch sizes
   • The model no longer needs a KV cache
   • The scheduler can eliminate all network communication
   • Each phase can be sized and parallelized for its own compute or memory bottleneck