Kvíz spojený s průvodcem · Střední úroveň

Kvíz ořezávání přechodů

Kontroluje ořezávání norem a hodnot, zachování směru, řízení explodujícího gradientu a ořezávání podle příkladu v odlišně soukromém tréninku.

Související vodicí cestyPřechodové oříznutí
Otázka 1 z 8

Co oříznutí přechodu podle normy primárně zachovává a zároveň omezuje aktualizaci?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Co oříznutí přechodu podle normy primárně zachovává a zároveň omezuje aktualizaci?
    • Směr celkové aktualizace přechodu
    • Přesná velikost každého gradientu
    • Počet parametrů modelu
    • Rozvrh míry učení
  2. Co se stane v normě clip-by-norm s prahem c, když gradientová norma g_norm překročí c?
    • Přechody jsou nastaveny na nulu
    • Každý gradient se vynásobí c / g_norm
    • Trénink se zastaví
    • Rychlost učení je dvojnásobná
  3. Který problém je ořezávání přechodu speciálně navrženo k boji?
    • Mizející přechody
    • Pomalé načítání dat
    • Explodující přechody
    • Přesazení do ověřovací sady
  4. Jak se liší klip podle hodnoty od klipu podle normy?
    • Vždy zachovává směr aktualizace
    • Funguje pouze na konvolučních vrstvách
    • Zcela odstraňuje přechody
    • Upíná každou složku gradientu nezávisle do rozsahu, který může měnit směr
  5. A minibatch produces an unusually large global gradient norm. What does clip-by-norm do before the optimizer update?
    • Scales the full gradient vector down to the configured threshold when the norm exceeds it
    • Changes the model’s labels
    • Drops every gradient component independently
    • Increases the learning rate until the loss recovers
  6. Jakou roli hraje v diferenciálně soukromém tréninku (DP-SGD) ořezávání gradientu podle příkladu?
    • Šifruje data
    • Ohraničuje vliv každého příkladu, takže kalibrovaný šum může zaručit soukromí
    • Zvyšuje velikost dávky
    • Odstraňuje potřebu ztrátové funkce
  7. The global gradient norm is twice a clipping threshold c. By what factor is the gradient scaled?
    • Dvě
    • One quarter
    • One half (c divided by 2c)
    • It is left unchanged
  8. Why does DP-SGD clip each example’s gradient before adding calibrated noise?
    • To make all examples have the same label
    • To remove the need for a privacy budget
    • To increase the norm of rare-class gradients
    • To bound an individual example’s influence on the released update