Kvíz spojený s průvodcem · Těžko úroveň

Kvíz směsi odborníků

Procvičte si řídké směrování MoE, expertní vyvážení zátěže a kompromisy v paměti, včetně rozdílu mezi aktivní prací na token a celkovými uloženými parametry.

Související vodicí cestySměs Expertů
Otázka 1 z 8

Co ve vrstvě Mixture of Experts rozhoduje o tom, kteří experti zpracují daný token?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co ve vrstvě Mixture of Experts rozhoduje o tom, kteří experti zpracují daný token?
    • Malý naučený router (bránová síť), který boduje odborníky
    • Pevná vyhledávací tabulka nastavená před tréninkem
    • Délka výzvy uživatele
    • Náhodné losování na každém kroku
  2. Proč může mít model MŽP mnohem více celkových parametrů než hustý model bez odpovídajícího zvýšení nákladů na token?
    • Komprimuje parametry do jediné sdílené váhy
    • Úplně přeskakuje vrstvy pozornosti
    • Pro každý token je aktivováno pouze několik expertů (top-k).
    • Spouští každý odborník, ale výsledky průměruje
  3. Jaký problém řeší ztráta vyvažování zátěže (pomocná) během školení MŽP?
    • Tokeny jsou pro kontextové okno příliš dlouhé
    • Router nadměrně používá několik odborníků a zbytek hladoví
    • Přechody mizející v hlavách pozornosti
    • Přesazení do ověřovací sady
  4. Mixtral 8x7B aktivuje 2 ze svých 8 expertů na token. Co to znamená o jeho výpočtu a jeho velikosti?
    • Pro každý token používá výpočet všech 8 odborníků
    • Má méně celkových parametrů než 7B hustý model
    • Na GPU to vůbec nejde
    • Jeho aktivní výpočet na token je mnohem menší, než naznačuje jeho celkový počet parametrů
  5. Why can a sparse MoE still have substantial memory or storage requirements?
    • Every token necessarily activates all experts
    • Inactive experts cease to have parameters
    • Inactive expert weights still need accessible storage even when not selected for a token
    • The router removes all attention layers
  6. Two selected MoE expert outputs are 2 and 6, with combination weights 0.25 and 0.75. What is their weighted output?
    • 5
    • 8
    • 2
    • 0,5
  7. Increasing an MoE’s expert count keeps the same top-k and expert size. What can still increase serving cost?
    • The selected expert count must automatically become the total count
    • The model must stop using attention
    • Every inactive weight is automatically deleted
    • Router or communication overhead and the storage required for more experts
  8. A sparse MoE calls a learned feed-forward subnetwork an expert. What does that name establish?
    • It is certified to answer only one academic discipline
    • It is one of the networks selected by routing, without proving a named subject specialty
    • It must be a human-written collection of rules
    • It contains no learned parameters