Kvíz spojený s průvodcem · Těžko úroveň
Kvíz směsi odborníků
Procvičte si řídké směrování MoE, expertní vyvážení zátěže a kompromisy v paměti, včetně rozdílu mezi aktivní prací na token a celkovými uloženými parametry.
Otázka 1 z 8
Co ve vrstvě Mixture of Experts rozhoduje o tom, kteří experti zpracují daný token?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co ve vrstvě Mixture of Experts rozhoduje o tom, kteří experti zpracují daný token?
- Malý naučený router (bránová síť), který boduje odborníky
- Pevná vyhledávací tabulka nastavená před tréninkem
- Délka výzvy uživatele
- Náhodné losování na každém kroku
- Proč může mít model MŽP mnohem více celkových parametrů než hustý model bez odpovídajícího zvýšení nákladů na token?
- Komprimuje parametry do jediné sdílené váhy
- Úplně přeskakuje vrstvy pozornosti
- Pro každý token je aktivováno pouze několik expertů (top-k).
- Spouští každý odborník, ale výsledky průměruje
- Jaký problém řeší ztráta vyvažování zátěže (pomocná) během školení MŽP?
- Tokeny jsou pro kontextové okno příliš dlouhé
- Router nadměrně používá několik odborníků a zbytek hladoví
- Přechody mizející v hlavách pozornosti
- Přesazení do ověřovací sady
- Mixtral 8x7B aktivuje 2 ze svých 8 expertů na token. Co to znamená o jeho výpočtu a jeho velikosti?
- Pro každý token používá výpočet všech 8 odborníků
- Má méně celkových parametrů než 7B hustý model
- Na GPU to vůbec nejde
- Jeho aktivní výpočet na token je mnohem menší, než naznačuje jeho celkový počet parametrů
- Why can a sparse MoE still have substantial memory or storage requirements?
- Every token necessarily activates all experts
- Inactive experts cease to have parameters
- Inactive expert weights still need accessible storage even when not selected for a token
- The router removes all attention layers
- Two selected MoE expert outputs are 2 and 6, with combination weights 0.25 and 0.75. What is their weighted output?
- 5
- 8
- 2
- 0,5
- Increasing an MoE’s expert count keeps the same top-k and expert size. What can still increase serving cost?
- The selected expert count must automatically become the total count
- The model must stop using attention
- Every inactive weight is automatically deleted
- Router or communication overhead and the storage required for more experts
- A sparse MoE calls a learned feed-forward subnetwork an expert. What does that name establish?
- It is certified to answer only one academic discipline
- It is one of the networks selected by routing, without proving a named subject specialty
- It must be a human-written collection of rules
- It contains no learned parameters