Równoległość ekspercka w quizie dotyczącym obsługi MoE

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Co jest rozdzielane przez specjalistyczną równoległość pomiędzy procesory graficzne?
   • Kopie pełnego modelu w celu zapewnienia redundancji
   • Tylko głowy uwagi indywidualnej
   • Różni eksperci w zakresie sprzężenia zwrotnego warstwy MoE
   • Warstwy tabeli osadzania
2. Który wzorzec komunikacji jest kluczowy dla równoległości ekspertów MoE?
   • Dwie wymiany typu „wszyscy na wszystkich” (wysyłanie i łączenie)
   • Pojedyncza transmisja
   • Synchronizacja gradientu punkt-punkt
   • Nie jest potrzebna żadna komunikacja
3. Dlaczego MoE utrzymuje niskie obliczenia na token pomimo ogromnych parametrów całkowitych?
   • Kompresuje wagi do 1 bitu
   • Pomija warstwy uwagi
   • Eksperci dzielą się wszystkimi swoimi wagami
   • Tylko k najlepszych wybranych ekspertów działa na token
4. Jaki problem pojawia się, ponieważ routing zależy od danych?
   • Eksplozja gradientowa
   • Nierównowaga obciążenia, w przypadku której niektórzy eksperci otrzymują znacznie więcej tokenów
   • Nie można przeszkolić routera
   • Żetony tracą osadzoną pozycję
5. Why are capacity limits and padding used in some MoE implementations?
   • To control expert buffer sizes and make computation shapes more predictable
   • To require every expert to process every token
   • To eliminate all token routing
   • To guarantee that every MoE system drops tokens
6. W jaki sposób systemy ukrywają opóźnienia w krokach „wszystko do wszystkich”?
   • Zamiast tego uruchamiając na procesorze
   • Usuwając stopień kombajnu
   • Zwiększając tempo uczenia się
   • Poprzez nałożenie komunikacji na obliczenia eksperckie
7. A routed token chooses two MoE experts on different devices. What must expert-parallel execution do?
   • Run every expert in the model regardless of routing
   • Dispatch its representation to the selected experts and combine their outputs
   • Replace both expert networks with an attention head
   • Drop the token solely because it selected two devices
8. One MoE expert receives far more tokens than others. Why can the layer’s latency increase?
   • The total expert parameter count automatically doubles
   • The router’s outputs become attention positions
   • The overloaded expert becomes a straggler while other devices wait
   • All other experts are removed from memory