Kvíz spojený s průvodcem · Střední úroveň
Kvíz ořezávání přechodů
Kontroluje ořezávání norem a hodnot, zachování směru, řízení explodujícího gradientu a ořezávání podle příkladu v odlišně soukromém tréninku.
Otázka 1 z 8
Co oříznutí přechodu podle normy primárně zachovává a zároveň omezuje aktualizaci?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Co oříznutí přechodu podle normy primárně zachovává a zároveň omezuje aktualizaci?
- Směr celkové aktualizace přechodu
- Přesná velikost každého gradientu
- Počet parametrů modelu
- Rozvrh míry učení
- Co se stane v normě clip-by-norm s prahem c, když gradientová norma g_norm překročí c?
- Přechody jsou nastaveny na nulu
- Každý gradient se vynásobí c / g_norm
- Trénink se zastaví
- Rychlost učení je dvojnásobná
- Který problém je ořezávání přechodu speciálně navrženo k boji?
- Mizející přechody
- Pomalé načítání dat
- Explodující přechody
- Přesazení do ověřovací sady
- Jak se liší klip podle hodnoty od klipu podle normy?
- Vždy zachovává směr aktualizace
- Funguje pouze na konvolučních vrstvách
- Zcela odstraňuje přechody
- Upíná každou složku gradientu nezávisle do rozsahu, který může měnit směr
- A minibatch produces an unusually large global gradient norm. What does clip-by-norm do before the optimizer update?
- Scales the full gradient vector down to the configured threshold when the norm exceeds it
- Changes the model’s labels
- Drops every gradient component independently
- Increases the learning rate until the loss recovers
- Jakou roli hraje v diferenciálně soukromém tréninku (DP-SGD) ořezávání gradientu podle příkladu?
- Šifruje data
- Ohraničuje vliv každého příkladu, takže kalibrovaný šum může zaručit soukromí
- Zvyšuje velikost dávky
- Odstraňuje potřebu ztrátové funkce
- The global gradient norm is twice a clipping threshold c. By what factor is the gradient scaled?
- Dvě
- One quarter
- One half (c divided by 2c)
- It is left unchanged
- Why does DP-SGD clip each example’s gradient before adding calibrated noise?
- To make all examples have the same label
- To remove the need for a privacy budget
- To increase the norm of rare-class gradients
- To bound an individual example’s influence on the released update