Quiz dotyczący przycinania gradientu

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Co przede wszystkim zachowuje przycinanie gradientu według normy, ograniczając aktualizację?
   • Kierunek ogólnej aktualizacji gradientu
   • Dokładna wielkość każdego gradientu
   • Liczba parametrów modelu
   • Harmonogram tempa nauki
2. Co się dzieje w przypadku normy obcinania z progiem c, gdy norma gradientu g_norm przekracza c?
   • Gradienty są ustawione na zero
   • Każdy gradient jest mnożony przez c / g_norm
   • Trening zostaje zatrzymany
   • Szybkość uczenia się jest podwojona
3. Z jakim problemem zaprojektowano specjalnie obcinanie gradientu?
   • Znikające gradienty
   • Powolne ładowanie danych
   • Eksplodujące gradienty
   • Nadmierne dopasowanie do zbioru walidacyjnego
4. Czym klip według wartości różni się od klipu według normy?
   • Zawsze zachowuje kierunek aktualizacji
   • Działa tylko na warstwach splotowych
   • Całkowicie usuwa gradienty
   • Zaciska niezależnie każdy składnik gradientu w zakresie, który może zmieniać kierunek
5. A minibatch produces an unusually large global gradient norm. What does clip-by-norm do before the optimizer update?
   • Scales the full gradient vector down to the configured threshold when the norm exceeds it
   • Changes the model’s labels
   • Drops every gradient component independently
   • Increases the learning rate until the loss recovers
6. Jaką rolę odgrywa przycinanie gradientu na przykład w szkoleniu różnicowo prywatnym (DP-SGD)?
   • Szyfruje dane
   • Ogranicza wpływ każdego przykładu, więc skalibrowany szum może zagwarantować prywatność
   • Zwiększa wielkość partii
   • Eliminuje to potrzebę funkcji straty
7. The global gradient norm is twice a clipping threshold c. By what factor is the gradient scaled?
   • Dwa
   • One quarter
   • One half (c divided by 2c)
   • It is left unchanged
8. Why does DP-SGD clip each example’s gradient before adding calibrated noise?
   • To make all examples have the same label
   • To remove the need for a privacy budget
   • To increase the norm of rare-class gradients
   • To bound an individual example’s influence on the released update