Quiz collegato alla guida · Difficile Livello

Quiz di precompilazione e decodifica disaggregati

Controlla i colli di bottiglia di precompilazione e decodifica, trasferimento della cache KV, interferenze di fase, ottimizzazione delle risorse e sistemi di servizio disaggregati.

Domanda 1 di 8

Qual è il motivo hardware principale per separare la precompilazione e la decodifica su diversi pool di GPU?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Qual è il motivo hardware principale per separare la precompilazione e la decodifica su diversi pool di GPU?
    • La precompilazione è legata al calcolo mentre la decodifica è legata alla larghezza di banda della memoria
    • Usano diversi linguaggi di programmazione
    • La decodifica richiede più elettricità della preriempizione
    • La precompilazione non può essere eseguita affatto sulle GPU
  2. Quale struttura di dati deve essere trasferita dai lavoratori di precompilazione ai lavoratori di decodifica?
    • Il modello pesa
    • La cache KV (valore-chiave).
    • Il vocabolario del tokenizzatore
    • Lo stato dell'ottimizzatore
  3. Quale problema riduce specificamente la disaggregazione in una configurazione con GPU condivisa?
    • Il driver GPU si blocca
    • Perdita di pacchetti di rete su Internet
    • Blocco head-of-line in cui una lunga precompilazione blocca la decodifica degli altri
    • Allucinazione modello
  4. Perché la precompilazione può essere raggruppata in batch in modo aggressivo ma la decodifica beneficia di una diversa ottimizzazione?
    • La decodifica non utilizza mai la GPU
    • La precompilazione viene eseguita solo una volta al giorno
    • Il batching è impossibile durante la precompilazione
    • I token di precompilazione vengono letti in parallelo, massimizzando l'utilizzo del calcolo per passaggio
  5. Quali interconnessioni vengono in genere utilizzate per spostare la cache KV tra pool disaggregati?
    • NVLink o InfiniBand
    • Modem di accesso remoto
    • Cavi USB 2.0
    • Bluetooth
  6. Quali sistemi denominati sono associati alla pubblicazione di precompilazione/decodifica disaggregata?
    • TCP, UDP e HTTP
    • DistServe, Splitwise e Mooncake
    • Word, Excel e PowerPoint
    • JPEG, PNG e GIF
  7. Why must the KV cache produced during prefill be available to the decode workers?
    • It contains the model’s optimizer state
    • It stores the user’s GPU allocation
    • Decode uses cached prompt keys and values to generate subsequent tokens without recomputing the whole prompt
    • It is needed only to calculate validation accuracy
  8. What is a resource-allocation benefit of separating prefill and decode pools?
    • Both phases must use identical batch sizes
    • The model no longer needs a KV cache
    • The scheduler can eliminate all network communication
    • Each phase can be sized and parallelized for its own compute or memory bottleneck