Kvíz spojený s průvodcem · Těžko úroveň

Tréninkový kvíz DeepSpeed a Megatron

Kontroluje fáze shardingu ZeRO, paralelismus tenzoru a potrubí, aktivační kontrolní bod, vykládání a kombinované 3D paralelní školení.

Otázka 1 z 8

Jaký je primární účel optimalizátoru ZeRO od DeepSpeed?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaký je primární účel optimalizátoru ZeRO od DeepSpeed?
    • Chcete-li stavy optimalizátoru fragmentů, přechody a parametry napříč GPU šetřit paměť
    • Chcete-li komprimovat konečný model pro nasazení
    • Překládat modely mezi frameworky
    • Pro automatické označování tréninkových dat
  2. Tenzorový paralelismus, jak byl propagován v Megatron-LM, rozděluje model jak?
    • Umístěním různých vrstev na různá GPU
    • Rozdělením jednotlivých multiplikací matic ve vrstvě mezi GPU
    • Tím, že každému GPU poskytnete jinou dávku dat
    • Uložením různých časových kroků na různých GPU
  3. Paralelismus potrubí se liší od paralelismu tenzoru, protože rozděluje model:
    • Krájení matric uvnitř každé vrstvy
    • Duplikování celého modelu na každém GPU
    • Přiřazení různých vrstev (fází) různým GPU
    • Kvantování závaží pro nižší přesnost
  4. Který stupeň ZeRO poskytuje největší úsporu paměti tím, že také sharduje samotné parametry modelu?
    • Fáze 1
    • Fáze 2
    • Fáze 0
    • Fáze 3
  5. Co znamená „aktivační kontrolní bod“ za účelem úspory paměti během tréninku?
    • Extra výpočet, přepočítáním aktivací během zpětného průchodu
    • Přesnost modelu
    • Šířka pásma sítě
    • Počet vrstev
  6. Proč se kombinování těchto technik často nazývá „3D paralelismus“?
    • Funguje pouze na 3D grafických kartách
    • Kombinuje paralelnost dat, tenzoru a potrubí podél tří os
    • Využívá maximálně tři GPU
    • Modely vykresluje ve třech rozměrech
  7. Which ZeRO stage first shards optimizer state across data-parallel workers?
    • Fáze 0
    • Fáze 2
    • Fáze 1
    • Fáze 3
  8. What does CPU or NVMe offloading do in large-model training stacks?
    • Copies the full model to every GPU
    • Removes all inter-GPU communication
    • Changes tensor parallelism into reinforcement learning
    • Moves some model or optimizer state off GPU memory to increase the available GPU-memory budget