Útmutatóhoz kapcsolódó kvíz · Kemény Szint

Bontott előtöltési és dekódolási megjelenítési kvíz

Checks prefill and decode bottlenecks, KV-cache transfer, phase interference, resource tuning and disaggregated serving systems.

kérdés 1 -ból 8

Mi az alapvető hardveres oka az előtöltés és a dekódolás szétválasztásának a különböző GPU-készletekre?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mi az alapvető hardveres oka az előtöltés és a dekódolás szétválasztásának a különböző GPU-készletekre?
    • Az előtöltés számításhoz, a dekódolás pedig a memória sávszélességéhez kötött
    • Különféle programozási nyelveket használnak
    • A dekódolás több áramot igényel, mint az előtöltés
    • Az előtöltés egyáltalán nem fut GPU-kon
  2. Milyen adatstruktúrát kell átvinni az előtöltő munkásoktól a dekódoló dolgozókhoz?
    • A modell súlyai
    • A KV (kulcsérték) gyorsítótár
    • A tokenizáló szókincs
    • Az optimalizáló állapota
  3. Melyik problémát csökkenti konkrétan a szétbontás egy megosztott GPU-beállításban?
    • GPU illesztőprogram összeomlik
    • Hálózati csomagvesztés az interneten
    • Sorfejes blokkolás, ahol a hosszú előkitöltés leállítja mások dekódolását
    • Modell hallucináció
  4. Miért lehet az előtöltést agresszíven kötegelni, de miért lehet dekódolni a különböző hangolás előnyeit?
    • A Decode soha nem használja a GPU-t
    • Az előtöltés naponta csak egyszer fut le
    • Az adagolás nem lehetséges az előtöltés során
    • Az előkitöltési tokenek olvasása párhuzamosan történik, maximalizálva a számítási felhasználást lépésenként
  5. Milyen összeköttetéseket használnak általában a KV-gyorsítótár mozgatására a szétbontott készletek között?
    • NVLink vagy InfiniBand
    • Telefonos modemek
    • USB 2.0 kábelek
    • Bluetooth
  6. Mely elnevezett rendszerek vannak társítva bontott előtöltési/dekódolási szolgáltatáshoz?
    • TCP, UDP és HTTP
    • DistServe, Splitwise és Mooncake
    • Word, Excel és PowerPoint
    • JPEG, PNG és GIF
  7. Why must the KV cache produced during prefill be available to the decode workers?
    • It contains the model’s optimizer state
    • It stores the user’s GPU allocation
    • Decode uses cached prompt keys and values to generate subsequent tokens without recomputing the whole prompt
    • It is needed only to calculate validation accuracy
  8. What is a resource-allocation benefit of separating prefill and decode pools?
    • Both phases must use identical batch sizes
    • The model no longer needs a KV cache
    • The scheduler can eliminate all network communication
    • Each phase can be sized and parallelized for its own compute or memory bottleneck