Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Gradiens vágó kvíz
Checks norm and value clipping, direction preservation, exploding-gradient control and per-example clipping in differentially private training.
kérdés 1 -ból 8
Mit őriz meg elsősorban a szabványonkénti színátmenet-kivágás, miközben korlátozza a frissítést?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mit őriz meg elsősorban a szabványonkénti színátmenet-kivágás, miközben korlátozza a frissítést?
- Az általános színátmenet frissítésének iránya
- Minden gradiens pontos nagysága
- A modell paramétereinek száma
- A tanulási ütem ütemezése
- C küszöbértékkel rendelkező klip-normában mi történik, ha a g_norm gradiens norma meghaladja a c-t?
- A színátmenetek nullára vannak állítva
- Minden színátmenetet megszorozunk c / g_norm-val
- Az edzés leáll
- A tanulási arány megduplázódik
- Melyik probléma leküzdésére tervezték a gradiens kivágást?
- Eltűnő színátmenetek
- Lassú adatbetöltés
- Robbanó színátmenetek
- Túlillesztés az érvényesítő készlethez
- Miben különbözik a klip értéke a normáltól?
- Mindig megőrzi a frissítés irányát
- Csak konvolúciós rétegeken működik
- Teljesen eltávolítja a színátmeneteket
- Minden gradiens komponenst egymástól függetlenül rögzít egy tartományba, amely megváltoztathatja az irányt
- A minibatch produces an unusually large global gradient norm. What does clip-by-norm do before the optimizer update?
- Scales the full gradient vector down to the configured threshold when the norm exceeds it
- Changes the model’s labels
- Drops every gradient component independently
- Increases the learning rate until the loss recovers
- A differenciális magánképzésben (DP-SGD) milyen szerepe van a példánkénti gradiens vágásnak?
- Titkosítja az adatokat
- Ez korlátozza az egyes példák hatását, így a kalibrált zaj garantálhatja a magánélet védelmét
- Növeli a tétel méretét
- Megszünteti a veszteségfüggvény szükségességét
- The global gradient norm is twice a clipping threshold c. By what factor is the gradient scaled?
- Kettő
- One quarter
- One half (c divided by 2c)
- It is left unchanged
- Why does DP-SGD clip each example’s gradient before adding calibrated noise?
- To make all examples have the same label
- To remove the need for a privacy budget
- To increase the norm of rare-class gradients
- To bound an individual example’s influence on the released update