Gids-gekoppelde quiz · Moeilijk Niveau

Mengsel van deskundigenquiz

Oefen spaarzame MoE-routering, deskundige taakverdeling en geheugenafwegingen, inclusief het verschil tussen actief werk per token en het totale aantal opgeslagen parameters.

Gerelateerde gidspadenMengsel van deskundigen
Vraag 1 van 8

Wat bepaalt in een mix van experts-laag welke experts een bepaald token verwerken?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Wat bepaalt in een mix van experts-laag welke experts een bepaald token verwerken?
    • Een kleine geleerde router (gating-netwerk) die experts scoort
    • Een vaste opzoektabel die is ingesteld vóór de training
    • De promptlengte van de gebruiker
    • Een willekeurige trekking bij elke stap
  2. Waarom kan een MoE-model veel meer totale parameters hebben dan een compact model zonder een overeenkomstige stijging van de kosten per token?
    • Het comprimeert parameters tot één gedeeld gewicht
    • Het slaat de aandachtslagen volledig over
    • Voor elk token worden slechts enkele experts (top-k) geactiveerd
    • Het beheert elke expert, maar maakt het gemiddelde van de resultaten
  3. Welk probleem wordt opgelost door een taakverdelingsverlies (hulpverlies) tijdens MoE-training?
    • Tokens zijn te lang voor het contextvenster
    • De router gebruikt een paar experts te veel en verhongert de rest
    • Gradiënten verdwijnen in aandachtshoofden
    • Overfitting op de validatieset
  4. Mixtral 8x7B activeert 2 van zijn 8 experts per token. Wat betekent dit over de rekenkracht versus de omvang ervan?
    • Het gebruikt de rekenkracht van alle 8 experts op elk token
    • Het heeft minder totale parameters dan een 7B-dicht model
    • Het kan helemaal niet op een GPU draaien
    • De actieve rekenkracht per token is veel kleiner dan het totale aantal parameters suggereert
  5. Why can a sparse MoE still have substantial memory or storage requirements?
    • Every token necessarily activates all experts
    • Inactive experts cease to have parameters
    • Inactive expert weights still need accessible storage even when not selected for a token
    • The router removes all attention layers
  6. Two selected MoE expert outputs are 2 and 6, with combination weights 0.25 and 0.75. What is their weighted output?
    • 5
    • 8
    • 2
    • 0,5
  7. Increasing an MoE’s expert count keeps the same top-k and expert size. What can still increase serving cost?
    • The selected expert count must automatically become the total count
    • The model must stop using attention
    • Every inactive weight is automatically deleted
    • Router or communication overhead and the storage required for more experts
  8. A sparse MoE calls a learned feed-forward subnetwork an expert. What does that name establish?
    • It is certified to answer only one academic discipline
    • It is one of the networks selected by routing, without proving a named subject specialty
    • It must be a human-written collection of rules
    • It contains no learned parameters