Quiz collegato alla guida · Difficile Livello

Quiz sulla miscela di esperti

Esercitati con il routing MoE sparso, il bilanciamento esperto del carico e i compromessi di memoria, inclusa la differenza tra il lavoro attivo per token e i parametri totali archiviati.

Percorsi guida correlatiMiscela di esperti
Domanda 1 di 8

In un livello Miscela di esperti, cosa decide quali esperti elaborano un determinato token?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. In un livello Miscela di esperti, cosa decide quali esperti elaborano un determinato token?
    • Un piccolo router appreso (rete di gate) che assegna punti agli esperti
    • Una tabella di ricerca fissa impostata prima dell'addestramento
    • La lunghezza del prompt dell'utente
    • Un'estrazione casuale ad ogni passaggio
  2. Perché un modello MoE può avere molti più parametri totali di un modello denso senza un corrispondente aumento del costo per token?
    • Comprime i parametri in un unico peso condiviso
    • Salta completamente gli strati di attenzione
    • Per ogni token vengono attivati solo pochi esperti (top-k).
    • Gestisce tutti gli esperti ma calcola la media dei risultati
  3. Quale problema affronta una perdita di bilanciamento del carico (ausiliaria) durante la formazione del MoE?
    • I token sono troppo lunghi per la finestra di contesto
    • Il router abusa di alcuni esperti e fa morire di fame il resto
    • Sfumature che svaniscono nelle teste dell'attenzione
    • Overfitting al set di validazione
  4. Mixtral 8x7B attiva 2 dei suoi 8 esperti per token. Cosa implica questo in termini di calcolo rispetto alle sue dimensioni?
    • Utilizza il calcolo di tutti gli 8 esperti su ogni token
    • Ha meno parametri totali di un modello denso 7B
    • Non può assolutamente funzionare su una GPU
    • Il calcolo attivo per token è molto inferiore a quanto suggerisce il conteggio totale dei parametri
  5. Why can a sparse MoE still have substantial memory or storage requirements?
    • Every token necessarily activates all experts
    • Inactive experts cease to have parameters
    • Inactive expert weights still need accessible storage even when not selected for a token
    • The router removes all attention layers
  6. Two selected MoE expert outputs are 2 and 6, with combination weights 0.25 and 0.75. What is their weighted output?
    • 5
    • 8
    • 2
    • 0,5
  7. Increasing an MoE’s expert count keeps the same top-k and expert size. What can still increase serving cost?
    • The selected expert count must automatically become the total count
    • The model must stop using attention
    • Every inactive weight is automatically deleted
    • Router or communication overhead and the storage required for more experts
  8. A sparse MoE calls a learned feed-forward subnetwork an expert. What does that name establish?
    • It is certified to answer only one academic discipline
    • It is one of the networks selected by routing, without proving a named subject specialty
    • It must be a human-written collection of rules
    • It contains no learned parameters