Kvíz spojený s průvodcem · Těžko úroveň
Disagregovaný kvíz předvyplnění a dekódování
Kontroluje úzká místa předvyplnění a dekódování, přenos KV-cache, fázové interference, ladění zdrojů a disagregované obslužné systémy.
Otázka 1 z 8
Jaký je hlavní hardwarový důvod pro oddělení předvyplnění a dekódování do různých fondů GPU?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaký je hlavní hardwarový důvod pro oddělení předvyplnění a dekódování do různých fondů GPU?
- Předvyplnění je vázáno na výpočet, zatímco dekódování je vázáno na šířku pásma paměti
- Používají různé programovací jazyky
- Dekódování vyžaduje více elektřiny než předplnění
- Prefill nelze spustit na GPU vůbec
- Jaká struktura dat musí být přenesena z pracovníků s předvyplněním do pracovníků s dekódováním?
- Model váží
- Mezipaměť KV (klíč-hodnota).
- Slovní zásoba tokenizeru
- Stav optimalizátoru
- Který problém konkrétně snižuje dezagregace v nastavení sdíleného GPU?
- Ovladač GPU padá
- Ztráta síťových paketů na internetu
- Head-of-line blokování, kde dlouhé předvyplnění zastaví dekódování ostatních
- Modelová halucinace
- Proč lze předvyplnění dávkovat agresivně, ale dekódování těží z jiného ladění?
- Dekódování nikdy nepoužívá GPU
- Předvyplnění probíhá pouze jednou denně
- Dávkování během předplnění není možné
- Předvyplněné tokeny se čtou paralelně, což maximalizuje využití výpočtů na jeden průchod
- Která propojení se obvykle používají k přesunu mezipaměti KV mezi dezagregovanými fondy?
- NVLink nebo InfiniBand
- Vytáčené modemy
- USB 2.0 kabely
- Bluetooth
- Které pojmenované systémy jsou přidruženy k disagregovanému předvyplnění/dekódování?
- TCP, UDP a HTTP
- DistServe, Splitwise a Mooncake
- Word, Excel a PowerPoint
- JPEG, PNG a GIF
- Proč musí být KV cache vytvořená během předvyplnění k dispozici pracovníkům dekódování?
- Obsahuje stav optimalizátoru modelu
- Ukládá přidělení GPU uživatele
- Decode používá klíče a hodnoty výzvy uložené v mezipaměti ke generování následných tokenů bez přepočítávání celé výzvy
- Je potřeba pouze pro výpočet přesnosti ověření
- Jaká je výhoda alokace zdrojů oddělení předvyplnění a dekódování fondů?
- Obě fáze musí používat stejné velikosti dávek
- Model již nepotřebuje KV cache
- Plánovač může eliminovat veškerou síťovou komunikaci
- Každá fáze může být dimenzována a paralelizována pro její vlastní výpočetní nebo paměťové úzké místo