Odciążanie stanu optymalizatora do procesora i quizu NVMe

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaki jest główny cel przenoszenia stanów optymalizatora na procesor lub NVMe?
   • Aby model był dokładniejszy
   • Aby zmniejszyć liczbę potrzebnych epok szkoleniowych
   • Aby całkowicie wyeliminować potrzebę stosowania gradientów
   • Aby dopasować większe modele, zwalniając ograniczoną pamięć GPU
2. For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?
   • Two bytes for all three values
   • Twelve bytes, excluding model weights and gradients
   • Sixteen bytes for the three values alone
   • Zero bytes because they are implicit
3. Która funkcja frameworka spopularyzowała odciążanie optymalizatora na dużą skalę?
   • Nowa funkcja aktywacji
   • Kompresja obrazu JPEG
   • DeepSpeed ZeRO-Offload i ZeRO-Infinity
   • Przycinanie gradientowe
4. Jaki jest główny koszt wydajności przeniesienia na procesor lub NVMe?
   • Dane muszą być przesyłane wolniejszymi łączami, takimi jak PCIe lub na dysk, co zwiększa opóźnienia
   • Modelka zapomina o wcześniejszym treningu
   • Optymalizator staje się niepoprawny matematycznie
   • Temperatura GPU spada zbyt nisko
5. W jaki sposób systemy odciążające ukrywają większość opóźnień w transferze?
   • Pominąwszy podanie do tyłu
   • Nakładając wstępne pobieranie danych na bieżące obliczenia GPU
   • Poprzez uczenie tylko jednego parametru na raz
   • Wyłączając mieszaną precyzję
6. Gdzie w ZeRO-Offload często wykonuje się krok optymalizatora Adama?
   • Całość na kontrolerze NVMe
   • Na oddzielnym wyświetlaczu GPU
   • Na procesorze, wykorzystując zapisane tam główne masy i momenty
   • Wewnątrz przełącznika sieciowego
7. Optimizer states are offloaded, but GPU weights and activations still exceed capacity. What follows?
   • The job can still run out of GPU memory
   • Offloading guarantees the job fits any GPU
   • The optimizer moments automatically become model activations
   • The model no longer needs forward tensors
8. A CPU-offloaded optimizer becomes the training bottleneck. Which measurement is most relevant?
   • Only the inference accuracy
   • The UI font used for training logs
   • Only the number of dataset classes
   • Host optimizer-update time and host-device transfer time