Útmutatóhoz kapcsolódó kvíz · Kemény Szint
Bontott előtöltési és dekódolási megjelenítési kvíz
Checks prefill and decode bottlenecks, KV-cache transfer, phase interference, resource tuning and disaggregated serving systems.
kérdés 1 -ból 8
Mi az alapvető hardveres oka az előtöltés és a dekódolás szétválasztásának a különböző GPU-készletekre?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mi az alapvető hardveres oka az előtöltés és a dekódolás szétválasztásának a különböző GPU-készletekre?
- Az előtöltés számításhoz, a dekódolás pedig a memória sávszélességéhez kötött
- Különféle programozási nyelveket használnak
- A dekódolás több áramot igényel, mint az előtöltés
- Az előtöltés egyáltalán nem fut GPU-kon
- Milyen adatstruktúrát kell átvinni az előtöltő munkásoktól a dekódoló dolgozókhoz?
- A modell súlyai
- A KV (kulcsérték) gyorsítótár
- A tokenizáló szókincs
- Az optimalizáló állapota
- Melyik problémát csökkenti konkrétan a szétbontás egy megosztott GPU-beállításban?
- GPU illesztőprogram összeomlik
- Hálózati csomagvesztés az interneten
- Sorfejes blokkolás, ahol a hosszú előkitöltés leállítja mások dekódolását
- Modell hallucináció
- Miért lehet az előtöltést agresszíven kötegelni, de miért lehet dekódolni a különböző hangolás előnyeit?
- A Decode soha nem használja a GPU-t
- Az előtöltés naponta csak egyszer fut le
- Az adagolás nem lehetséges az előtöltés során
- Az előkitöltési tokenek olvasása párhuzamosan történik, maximalizálva a számítási felhasználást lépésenként
- Milyen összeköttetéseket használnak általában a KV-gyorsítótár mozgatására a szétbontott készletek között?
- NVLink vagy InfiniBand
- Telefonos modemek
- USB 2.0 kábelek
- Bluetooth
- Mely elnevezett rendszerek vannak társítva bontott előtöltési/dekódolási szolgáltatáshoz?
- TCP, UDP és HTTP
- DistServe, Splitwise és Mooncake
- Word, Excel és PowerPoint
- JPEG, PNG és GIF
- Why must the KV cache produced during prefill be available to the decode workers?
- It contains the model’s optimizer state
- It stores the user’s GPU allocation
- Decode uses cached prompt keys and values to generate subsequent tokens without recomputing the whole prompt
- It is needed only to calculate validation accuracy
- What is a resource-allocation benefit of separating prefill and decode pools?
- Both phases must use identical batch sizes
- The model no longer needs a KV cache
- The scheduler can eliminate all network communication
- Each phase can be sized and parallelized for its own compute or memory bottleneck