Mieszanka ekspertów Quiz

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Co w warstwie Mieszanka Ekspertów decyduje, którzy eksperci przetwarzają dany token?
   • Mały, wyuczony router (sieć bramkowa), który ocenia ekspertów
   • Stała tabela przeglądowa ustawiona przed treningiem
   • Długość monitu użytkownika
   • Losowe losowanie na każdym kroku
2. Dlaczego model MoE może mieć znacznie więcej parametrów całkowitych niż model gęsty bez odpowiedniego wzrostu kosztu na token?
   • Kompresuje parametry w jedną wspólną wagę
   • Całkowicie pomija warstwy uwagi
   • Dla każdego tokena aktywowanych jest tylko kilku ekspertów (od góry do k).
   • Prowadzi każdego eksperta, ale uśrednia wyniki
3. Jaki problem rozwiązuje utrata (pomocnicza) równoważenia obciążenia podczas szkolenia MoE?
   • Tokeny są za długie dla okna kontekstowego
   • Router nadużywa kilku ekspertów i głodzi resztę
   • Gradienty znikające w głowach uwagi
   • Nadmierne dopasowanie do zbioru walidacyjnego
4. Mixtral 8x7B aktywuje 2 z 8 ekspertów na każdy token. Co to oznacza w odniesieniu do jego obliczeń w porównaniu z rozmiarem?
   • Wykorzystuje obliczenia wszystkich 8 ekspertów na każdym tokenie
   • Ma mniej parametrów całkowitych niż model gęsty 7B
   • W ogóle nie da się tego uruchomić na GPU
   • Aktywne obliczenia na token są znacznie mniejsze, niż sugeruje całkowita liczba parametrów
5. Why can a sparse MoE still have substantial memory or storage requirements?
   • Every token necessarily activates all experts
   • Inactive experts cease to have parameters
   • Inactive expert weights still need accessible storage even when not selected for a token
   • The router removes all attention layers
6. Two selected MoE expert outputs are 2 and 6, with combination weights 0.25 and 0.75. What is their weighted output?
   • 5
   • 8
   • 2
   • 0,5
7. Increasing an MoE’s expert count keeps the same top-k and expert size. What can still increase serving cost?
   • The selected expert count must automatically become the total count
   • The model must stop using attention
   • Every inactive weight is automatically deleted
   • Router or communication overhead and the storage required for more experts
8. A sparse MoE calls a learned feed-forward subnetwork an expert. What does that name establish?
   • It is certified to answer only one academic discipline
   • It is one of the networks selected by routing, without proving a named subject specialty
   • It must be a human-written collection of rules
   • It contains no learned parameters