Kuis terkait panduan · Sedang Tingkat
Kuis Kliping Gradien
Memeriksa kliping norma dan nilai, pelestarian arah, kontrol gradien ledakan, dan kliping per contoh dalam pelatihan privat yang berbeda.
Pertanyaan 1 dari 8
Apa yang terutama dipertahankan oleh kliping gradien klip demi norma sambil membatasi pembaruan?
Pratinjau setiap pertanyaan8 pertanyaan
Jawaban dan penjelasan muncul saat Anda mengikuti kuis.
- Apa yang terutama dipertahankan oleh kliping gradien klip demi norma sambil membatasi pembaruan?
- Arah pembaruan gradien secara keseluruhan
- Besaran pasti setiap gradien
- Jumlah parameter model
- Jadwal kecepatan pembelajaran
- Dalam clip-by-norm dengan ambang batas c, apa yang terjadi jika norma gradien g_norm melebihi c?
- Gradien disetel ke nol
- Setiap gradien dikalikan dengan c/g_norm
- Latihan berhenti
- Kecepatan pembelajaran menjadi dua kali lipat
- Masalah manakah yang dirancang khusus untuk diatasi dengan pemotongan gradien?
- Gradien yang hilang
- Pemuatan data lambat
- Gradien yang meledak
- Overfitting ke set validasi
- Apa perbedaan klip menurut nilai dengan klip menurut norma?
- Itu selalu mempertahankan arah pembaruan
- Ini hanya berfungsi pada lapisan konvolusional
- Ini menghilangkan gradien sepenuhnya
- Ini menjepit setiap komponen gradien secara independen ke dalam suatu rentang, yang dapat mengubah arah
- A minibatch produces an unusually large global gradient norm. What does clip-by-norm do before the optimizer update?
- Scales the full gradient vector down to the configured threshold when the norm exceeds it
- Changes the model’s labels
- Drops every gradient component independently
- Increases the learning rate until the loss recovers
- Dalam pelatihan privat diferensial (DP-SGD), peran apa yang dimainkan oleh kliping gradien per contoh?
- Ini mengenkripsi data
- Ini membatasi pengaruh setiap contoh sehingga kebisingan yang dikalibrasi dapat menjamin privasi
- Ini meningkatkan ukuran batch
- Ini menghilangkan kebutuhan akan fungsi kerugian
- The global gradient norm is twice a clipping threshold c. By what factor is the gradient scaled?
- Dua
- One quarter
- One half (c divided by 2c)
- It is left unchanged
- Why does DP-SGD clip each example’s gradient before adding calibrated noise?
- To make all examples have the same label
- To remove the need for a privacy budget
- To increase the norm of rare-class gradients
- To bound an individual example’s influence on the released update