Kvíz spojený s průvodcem · Těžko úroveň

Disagregovaný kvíz předvyplnění a dekódování

Kontroluje úzká místa předvyplnění a dekódování, přenos KV-cache, fázové interference, ladění zdrojů a disagregované obslužné systémy.

Otázka 1 z 8

Jaký je hlavní hardwarový důvod pro oddělení předvyplnění a dekódování do různých fondů GPU?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaký je hlavní hardwarový důvod pro oddělení předvyplnění a dekódování do různých fondů GPU?
    • Předvyplnění je vázáno na výpočet, zatímco dekódování je vázáno na šířku pásma paměti
    • Používají různé programovací jazyky
    • Dekódování vyžaduje více elektřiny než předplnění
    • Prefill nelze spustit na GPU vůbec
  2. Jaká struktura dat musí být přenesena z pracovníků s předvyplněním do pracovníků s dekódováním?
    • Model váží
    • Mezipaměť KV (klíč-hodnota).
    • Slovní zásoba tokenizeru
    • Stav optimalizátoru
  3. Který problém konkrétně snižuje dezagregace v nastavení sdíleného GPU?
    • Ovladač GPU padá
    • Ztráta síťových paketů na internetu
    • Head-of-line blokování, kde dlouhé předvyplnění zastaví dekódování ostatních
    • Modelová halucinace
  4. Proč lze předvyplnění dávkovat agresivně, ale dekódování těží z jiného ladění?
    • Dekódování nikdy nepoužívá GPU
    • Předvyplnění probíhá pouze jednou denně
    • Dávkování během předplnění není možné
    • Předvyplněné tokeny se čtou paralelně, což maximalizuje využití výpočtů na jeden průchod
  5. Která propojení se obvykle používají k přesunu mezipaměti KV mezi dezagregovanými fondy?
    • NVLink nebo InfiniBand
    • Vytáčené modemy
    • USB 2.0 kabely
    • Bluetooth
  6. Které pojmenované systémy jsou přidruženy k disagregovanému předvyplnění/dekódování?
    • TCP, UDP a HTTP
    • DistServe, Splitwise a Mooncake
    • Word, Excel a PowerPoint
    • JPEG, PNG a GIF
  7. Proč musí být KV cache vytvořená během předvyplnění k dispozici pracovníkům dekódování?
    • Obsahuje stav optimalizátoru modelu
    • Ukládá přidělení GPU uživatele
    • Decode používá klíče a hodnoty výzvy uložené v mezipaměti ke generování následných tokenů bez přepočítávání celé výzvy
    • Je potřeba pouze pro výpočet přesnosti ověření
  8. Jaká je výhoda alokace zdrojů oddělení předvyplnění a dekódování fondů?
    • Obě fáze musí používat stejné velikosti dávek
    • Model již nepotřebuje KV cache
    • Plánovač může eliminovat veškerou síťovou komunikaci
    • Každá fáze může být dimenzována a paralelizována pro její vlastní výpočetní nebo paměťové úzké místo