Quiz collegato alla guida · Difficile Livello
Quiz di precompilazione e decodifica disaggregati
Controlla i colli di bottiglia di precompilazione e decodifica, trasferimento della cache KV, interferenze di fase, ottimizzazione delle risorse e sistemi di servizio disaggregati.
Domanda 1 di 8
Qual è il motivo hardware principale per separare la precompilazione e la decodifica su diversi pool di GPU?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Qual è il motivo hardware principale per separare la precompilazione e la decodifica su diversi pool di GPU?
- La precompilazione è legata al calcolo mentre la decodifica è legata alla larghezza di banda della memoria
- Usano diversi linguaggi di programmazione
- La decodifica richiede più elettricità della preriempizione
- La precompilazione non può essere eseguita affatto sulle GPU
- Quale struttura di dati deve essere trasferita dai lavoratori di precompilazione ai lavoratori di decodifica?
- Il modello pesa
- La cache KV (valore-chiave).
- Il vocabolario del tokenizzatore
- Lo stato dell'ottimizzatore
- Quale problema riduce specificamente la disaggregazione in una configurazione con GPU condivisa?
- Il driver GPU si blocca
- Perdita di pacchetti di rete su Internet
- Blocco head-of-line in cui una lunga precompilazione blocca la decodifica degli altri
- Allucinazione modello
- Perché la precompilazione può essere raggruppata in batch in modo aggressivo ma la decodifica beneficia di una diversa ottimizzazione?
- La decodifica non utilizza mai la GPU
- La precompilazione viene eseguita solo una volta al giorno
- Il batching è impossibile durante la precompilazione
- I token di precompilazione vengono letti in parallelo, massimizzando l'utilizzo del calcolo per passaggio
- Quali interconnessioni vengono in genere utilizzate per spostare la cache KV tra pool disaggregati?
- NVLink o InfiniBand
- Modem di accesso remoto
- Cavi USB 2.0
- Bluetooth
- Quali sistemi denominati sono associati alla pubblicazione di precompilazione/decodifica disaggregata?
- TCP, UDP e HTTP
- DistServe, Splitwise e Mooncake
- Word, Excel e PowerPoint
- JPEG, PNG e GIF
- Why must the KV cache produced during prefill be available to the decode workers?
- It contains the model’s optimizer state
- It stores the user’s GPU allocation
- Decode uses cached prompt keys and values to generate subsequent tokens without recomputing the whole prompt
- It is needed only to calculate validation accuracy
- What is a resource-allocation benefit of separating prefill and decode pools?
- Both phases must use identical batch sizes
- The model no longer needs a KV cache
- The scheduler can eliminate all network communication
- Each phase can be sized and parallelized for its own compute or memory bottleneck