Quiz collegato alla guida · Difficile Livello
Parallelismo degli esperti per il quiz sul servizio del MoE
Testare il posizionamento degli esperti del MoE, l'invio di token e lo squilibrio del carico, compreso il modo in cui gli esperti selezionati e la comunicazione influiscono sull'inferenza distribuita.
Domanda 1 di 8
Cosa distribuisce il parallelismo esperto tra le GPU?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cosa distribuisce il parallelismo esperto tra le GPU?
- Copie del modello completo per la ridondanza
- L'attenzione individuale si concentra solo
- Diversi esperti feed-forward di un livello MoE
- Strati della tabella di inclusione
- Quale modello di comunicazione è centrale nel parallelismo degli esperti del Ministero?
- Due scambi tutti a tutti (spedire e combinare)
- Una sola trasmissione
- Sincronizzazione del gradiente punto per punto
- Non è necessaria alcuna comunicazione
- Perché MoE mantiene basso il calcolo per token nonostante gli enormi parametri totali?
- Comprime i pesi a 1 bit
- Salta gli strati di attenzione
- Gli esperti condividono tutti i loro pesi
- Solo i migliori esperti selezionati corrono per token
- Quale problema sorge perché il routing dipende dai dati?
- Esplosione gradiente
- Squilibrio del carico, in cui alcuni esperti ottengono molti più token
- Il router non può essere addestrato
- I token perdono i loro incorporamenti di posizione
- Why are capacity limits and padding used in some MoE implementations?
- To control expert buffer sizes and make computation shapes more predictable
- To require every expert to process every token
- To eliminate all token routing
- To guarantee that every MoE system drops tokens
- In che modo i sistemi nascondono la latenza dei passaggi all-to-all?
- Eseguendo invece sulla CPU
- Rimuovendo il passaggio di combinazione
- Aumentando il tasso di apprendimento
- Sovrapponendo la comunicazione al calcolo esperto
- A routed token chooses two MoE experts on different devices. What must expert-parallel execution do?
- Run every expert in the model regardless of routing
- Dispatch its representation to the selected experts and combine their outputs
- Replace both expert networks with an attention head
- Drop the token solely because it selected two devices
- One MoE expert receives far more tokens than others. Why can the layer’s latency increase?
- The total expert parameter count automatically doubles
- The router’s outputs become attention positions
- The overloaded expert becomes a straggler while other devices wait
- All other experts are removed from memory