Quiz collegato alla guida · Difficile Livello
Quiz sulla miscela di esperti
Esercitati con il routing MoE sparso, il bilanciamento esperto del carico e i compromessi di memoria, inclusa la differenza tra il lavoro attivo per token e i parametri totali archiviati.
Domanda 1 di 8
In un livello Miscela di esperti, cosa decide quali esperti elaborano un determinato token?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- In un livello Miscela di esperti, cosa decide quali esperti elaborano un determinato token?
- Un piccolo router appreso (rete di gate) che assegna punti agli esperti
- Una tabella di ricerca fissa impostata prima dell'addestramento
- La lunghezza del prompt dell'utente
- Un'estrazione casuale ad ogni passaggio
- Perché un modello MoE può avere molti più parametri totali di un modello denso senza un corrispondente aumento del costo per token?
- Comprime i parametri in un unico peso condiviso
- Salta completamente gli strati di attenzione
- Per ogni token vengono attivati solo pochi esperti (top-k).
- Gestisce tutti gli esperti ma calcola la media dei risultati
- Quale problema affronta una perdita di bilanciamento del carico (ausiliaria) durante la formazione del MoE?
- I token sono troppo lunghi per la finestra di contesto
- Il router abusa di alcuni esperti e fa morire di fame il resto
- Sfumature che svaniscono nelle teste dell'attenzione
- Overfitting al set di validazione
- Mixtral 8x7B attiva 2 dei suoi 8 esperti per token. Cosa implica questo in termini di calcolo rispetto alle sue dimensioni?
- Utilizza il calcolo di tutti gli 8 esperti su ogni token
- Ha meno parametri totali di un modello denso 7B
- Non può assolutamente funzionare su una GPU
- Il calcolo attivo per token è molto inferiore a quanto suggerisce il conteggio totale dei parametri
- Why can a sparse MoE still have substantial memory or storage requirements?
- Every token necessarily activates all experts
- Inactive experts cease to have parameters
- Inactive expert weights still need accessible storage even when not selected for a token
- The router removes all attention layers
- Two selected MoE expert outputs are 2 and 6, with combination weights 0.25 and 0.75. What is their weighted output?
- 5
- 8
- 2
- 0,5
- Increasing an MoE’s expert count keeps the same top-k and expert size. What can still increase serving cost?
- The selected expert count must automatically become the total count
- The model must stop using attention
- Every inactive weight is automatically deleted
- Router or communication overhead and the storage required for more experts
- A sparse MoE calls a learned feed-forward subnetwork an expert. What does that name establish?
- It is certified to answer only one academic discipline
- It is one of the networks selected by routing, without proving a named subject specialty
- It must be a human-written collection of rules
- It contains no learned parameters