Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Gradiens vágó kvíz

Checks norm and value clipping, direction preservation, exploding-gradient control and per-example clipping in differentially private training.

Kapcsolódó útmutató utakGradiens vágás
kérdés 1 -ból 8

Mit őriz meg elsősorban a szabványonkénti színátmenet-kivágás, miközben korlátozza a frissítést?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mit őriz meg elsősorban a szabványonkénti színátmenet-kivágás, miközben korlátozza a frissítést?
    • Az általános színátmenet frissítésének iránya
    • Minden gradiens pontos nagysága
    • A modell paramétereinek száma
    • A tanulási ütem ütemezése
  2. C küszöbértékkel rendelkező klip-normában mi történik, ha a g_norm gradiens norma meghaladja a c-t?
    • A színátmenetek nullára vannak állítva
    • Minden színátmenetet megszorozunk c / g_norm-val
    • Az edzés leáll
    • A tanulási arány megduplázódik
  3. Melyik probléma leküzdésére tervezték a gradiens kivágást?
    • Eltűnő színátmenetek
    • Lassú adatbetöltés
    • Robbanó színátmenetek
    • Túlillesztés az érvényesítő készlethez
  4. Miben különbözik a klip értéke a normáltól?
    • Mindig megőrzi a frissítés irányát
    • Csak konvolúciós rétegeken működik
    • Teljesen eltávolítja a színátmeneteket
    • Minden gradiens komponenst egymástól függetlenül rögzít egy tartományba, amely megváltoztathatja az irányt
  5. A minibatch produces an unusually large global gradient norm. What does clip-by-norm do before the optimizer update?
    • Scales the full gradient vector down to the configured threshold when the norm exceeds it
    • Changes the model’s labels
    • Drops every gradient component independently
    • Increases the learning rate until the loss recovers
  6. A differenciális magánképzésben (DP-SGD) milyen szerepe van a példánkénti gradiens vágásnak?
    • Titkosítja az adatokat
    • Ez korlátozza az egyes példák hatását, így a kalibrált zaj garantálhatja a magánélet védelmét
    • Növeli a tétel méretét
    • Megszünteti a veszteségfüggvény szükségességét
  7. The global gradient norm is twice a clipping threshold c. By what factor is the gradient scaled?
    • Kettő
    • One quarter
    • One half (c divided by 2c)
    • It is left unchanged
  8. Why does DP-SGD clip each example’s gradient before adding calibrated noise?
    • To make all examples have the same label
    • To remove the need for a privacy budget
    • To increase the norm of rare-class gradients
    • To bound an individual example’s influence on the released update