Gids-gekoppelde quiz · Moeilijk Niveau
Mengsel van deskundigenquiz
Oefen spaarzame MoE-routering, deskundige taakverdeling en geheugenafwegingen, inclusief het verschil tussen actief werk per token en het totale aantal opgeslagen parameters.
Vraag 1 van 8
Wat bepaalt in een mix van experts-laag welke experts een bepaald token verwerken?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Wat bepaalt in een mix van experts-laag welke experts een bepaald token verwerken?
- Een kleine geleerde router (gating-netwerk) die experts scoort
- Een vaste opzoektabel die is ingesteld vóór de training
- De promptlengte van de gebruiker
- Een willekeurige trekking bij elke stap
- Waarom kan een MoE-model veel meer totale parameters hebben dan een compact model zonder een overeenkomstige stijging van de kosten per token?
- Het comprimeert parameters tot één gedeeld gewicht
- Het slaat de aandachtslagen volledig over
- Voor elk token worden slechts enkele experts (top-k) geactiveerd
- Het beheert elke expert, maar maakt het gemiddelde van de resultaten
- Welk probleem wordt opgelost door een taakverdelingsverlies (hulpverlies) tijdens MoE-training?
- Tokens zijn te lang voor het contextvenster
- De router gebruikt een paar experts te veel en verhongert de rest
- Gradiënten verdwijnen in aandachtshoofden
- Overfitting op de validatieset
- Mixtral 8x7B activeert 2 van zijn 8 experts per token. Wat betekent dit over de rekenkracht versus de omvang ervan?
- Het gebruikt de rekenkracht van alle 8 experts op elk token
- Het heeft minder totale parameters dan een 7B-dicht model
- Het kan helemaal niet op een GPU draaien
- De actieve rekenkracht per token is veel kleiner dan het totale aantal parameters suggereert
- Why can a sparse MoE still have substantial memory or storage requirements?
- Every token necessarily activates all experts
- Inactive experts cease to have parameters
- Inactive expert weights still need accessible storage even when not selected for a token
- The router removes all attention layers
- Two selected MoE expert outputs are 2 and 6, with combination weights 0.25 and 0.75. What is their weighted output?
- 5
- 8
- 2
- 0,5
- Increasing an MoE’s expert count keeps the same top-k and expert size. What can still increase serving cost?
- The selected expert count must automatically become the total count
- The model must stop using attention
- Every inactive weight is automatically deleted
- Router or communication overhead and the storage required for more experts
- A sparse MoE calls a learned feed-forward subnetwork an expert. What does that name establish?
- It is certified to answer only one academic discipline
- It is one of the networks selected by routing, without proving a named subject specialty
- It must be a human-written collection of rules
- It contains no learned parameters