Quiz collegato alla guida · Difficile Livello

Parallelismo degli esperti per il quiz sul servizio del MoE

Testare il posizionamento degli esperti del MoE, l'invio di token e lo squilibrio del carico, compreso il modo in cui gli esperti selezionati e la comunicazione influiscono sull'inferenza distribuita.

Percorsi guida correlatiParallelismo esperto per Moe Serving
Domanda 1 di 8

Cosa distribuisce il parallelismo esperto tra le GPU?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cosa distribuisce il parallelismo esperto tra le GPU?
    • Copie del modello completo per la ridondanza
    • L'attenzione individuale si concentra solo
    • Diversi esperti feed-forward di un livello MoE
    • Strati della tabella di inclusione
  2. Quale modello di comunicazione è centrale nel parallelismo degli esperti del Ministero?
    • Due scambi tutti a tutti (spedire e combinare)
    • Una sola trasmissione
    • Sincronizzazione del gradiente punto per punto
    • Non è necessaria alcuna comunicazione
  3. Perché MoE mantiene basso il calcolo per token nonostante gli enormi parametri totali?
    • Comprime i pesi a 1 bit
    • Salta gli strati di attenzione
    • Gli esperti condividono tutti i loro pesi
    • Solo i migliori esperti selezionati corrono per token
  4. Quale problema sorge perché il routing dipende dai dati?
    • Esplosione gradiente
    • Squilibrio del carico, in cui alcuni esperti ottengono molti più token
    • Il router non può essere addestrato
    • I token perdono i loro incorporamenti di posizione
  5. Why are capacity limits and padding used in some MoE implementations?
    • To control expert buffer sizes and make computation shapes more predictable
    • To require every expert to process every token
    • To eliminate all token routing
    • To guarantee that every MoE system drops tokens
  6. In che modo i sistemi nascondono la latenza dei passaggi all-to-all?
    • Eseguendo invece sulla CPU
    • Rimuovendo il passaggio di combinazione
    • Aumentando il tasso di apprendimento
    • Sovrapponendo la comunicazione al calcolo esperto
  7. A routed token chooses two MoE experts on different devices. What must expert-parallel execution do?
    • Run every expert in the model regardless of routing
    • Dispatch its representation to the selected experts and combine their outputs
    • Replace both expert networks with an attention head
    • Drop the token solely because it selected two devices
  8. One MoE expert receives far more tokens than others. Why can the layer’s latency increase?
    • The total expert parameter count automatically doubles
    • The router’s outputs become attention positions
    • The overloaded expert becomes a straggler while other devices wait
    • All other experts are removed from memory