Quiz dotyczący stosów szkoleniowych DeepSpeed i Megatron

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaki jest główny cel optymalizatora ZeRO firmy DeepSpeed?
   • Dzielenie stanów optymalizatora, gradientów i parametrów na procesory graficzne w celu oszczędzania pamięci
   • Aby skompresować ostateczny model do wdrożenia
   • Aby tłumaczyć modele pomiędzy frameworkami
   • Aby automatycznie oznaczyć dane szkoleniowe
2. W jaki sposób równoległość tensorowa, zapoczątkowana w Megatron-LM, dzieli model?
   • Umieszczając różne warstwy na różnych procesorach graficznych
   • Dzieląc poszczególne mnożenia macierzy w warstwie pomiędzy procesorami graficznymi
   • Dając każdemu procesorowi graficznemu inną partię danych
   • Zapisując różne kroki czasowe na różnych procesorach graficznych
3. Równoległość potoku różni się od równoległości tensorowej tym, że dzieli model poprzez:
   • Krojenie macierzy wewnątrz każdej warstwy
   • Powielanie całego modelu na każdym GPU
   • Przypisywanie różnych warstw (etapów) do różnych procesorów graficznych
   • Kwantyzacja wag w celu zmniejszenia precyzji
4. Który stopień ZeRO zapewnia największą oszczędność pamięci, dzieląc również same parametry modelu?
   • Etap 1
   • Etap 2
   • Etap 0
   • Etap 3
5. W jaki sposób „punkt kontrolny aktywacji” pomaga oszczędzać pamięć podczas treningu?
   • Dodatkowe obliczenia poprzez ponowne obliczenie aktywacji podczas przejścia wstecz
   • Dokładność modelu
   • Przepustowość sieci
   • Liczba warstw
6. Dlaczego łączenie tych technik często nazywane jest „równoległością 3D”?
   • Działa tylko na kartach graficznych 3D
   • Łączy równoległość danych, tensora i potoku wzdłuż trzech osi
   • Wykorzystuje maksymalnie trzy procesory graficzne
   • Renderuje modele w trzech wymiarach
7. Which ZeRO stage first shards optimizer state across data-parallel workers?
   • Etap 0
   • Etap 2
   • Etap 1
   • Etap 3
8. What does CPU or NVMe offloading do in large-model training stacks?
   • Copies the full model to every GPU
   • Removes all inter-GPU communication
   • Changes tensor parallelism into reinforcement learning
   • Moves some model or optimizer state off GPU memory to increase the available GPU-memory budget