Kvíz spojený s průvodcem · Těžko úroveň
Tréninkový kvíz DeepSpeed a Megatron
Kontroluje fáze shardingu ZeRO, paralelismus tenzoru a potrubí, aktivační kontrolní bod, vykládání a kombinované 3D paralelní školení.
Otázka 1 z 8
Jaký je primární účel optimalizátoru ZeRO od DeepSpeed?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaký je primární účel optimalizátoru ZeRO od DeepSpeed?
- Chcete-li stavy optimalizátoru fragmentů, přechody a parametry napříč GPU šetřit paměť
- Chcete-li komprimovat konečný model pro nasazení
- Překládat modely mezi frameworky
- Pro automatické označování tréninkových dat
- Tenzorový paralelismus, jak byl propagován v Megatron-LM, rozděluje model jak?
- Umístěním různých vrstev na různá GPU
- Rozdělením jednotlivých multiplikací matic ve vrstvě mezi GPU
- Tím, že každému GPU poskytnete jinou dávku dat
- Uložením různých časových kroků na různých GPU
- Paralelismus potrubí se liší od paralelismu tenzoru, protože rozděluje model:
- Krájení matric uvnitř každé vrstvy
- Duplikování celého modelu na každém GPU
- Přiřazení různých vrstev (fází) různým GPU
- Kvantování závaží pro nižší přesnost
- Který stupeň ZeRO poskytuje největší úsporu paměti tím, že také sharduje samotné parametry modelu?
- Fáze 1
- Fáze 2
- Fáze 0
- Fáze 3
- Co znamená „aktivační kontrolní bod“ za účelem úspory paměti během tréninku?
- Extra výpočet, přepočítáním aktivací během zpětného průchodu
- Přesnost modelu
- Šířka pásma sítě
- Počet vrstev
- Proč se kombinování těchto technik často nazývá „3D paralelismus“?
- Funguje pouze na 3D grafických kartách
- Kombinuje paralelnost dat, tenzoru a potrubí podél tří os
- Využívá maximálně tři GPU
- Modely vykresluje ve třech rozměrech
- Which ZeRO stage first shards optimizer state across data-parallel workers?
- Fáze 0
- Fáze 2
- Fáze 1
- Fáze 3
- What does CPU or NVMe offloading do in large-model training stacks?
- Copies the full model to every GPU
- Removes all inter-GPU communication
- Changes tensor parallelism into reinforcement learning
- Moves some model or optimizer state off GPU memory to increase the available GPU-memory budget