Kuis Akumulasi Gradien

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa yang terutama dapat dilakukan oleh akumulasi gradien?
   • Berlatih tanpa GPU apa pun
   • Lewati umpan mundur
   • Simulasikan ukuran batch efektif yang lebih besar pada memori terbatas
   • Hilangkan pengoptimal sepenuhnya
2. Dengan langkah akumulasi ukuran batch mikro 4 dan 8, ukuran batch efektif adalah:
   • 32
   • 4
   • 8
   • 12
3. Dengan faktor akumulasi N, kapan optimizer.step() dan zero_grad() harus terjadi?
   • Setelah setiap batch mikro
   • Tidak pernah
   • Sebelum umpan ke depan
   • Call optimizer.step() after N micro-batches, then clear gradients before the next accumulation window
4. Untuk menjaga kecepatan pembelajaran efektif tetap benar, kerugian per mikro-batch biasanya:
   • Dikalikan dengan N
   • Dibagi dengan jumlah langkah akumulasi N
   • Setel ke nol
   • Diganti dengan akurat
5. Lapisan normalisasi mana yang lebih cocok dipadukan dengan akumulasi gradien?
   • Normalisasi lapisan atau grup, karena tidak bergantung pada statistik batch
   • Normalisasi batch, karena ia menyukai batch kecil
   • Tidak ada normalisasi yang berhasil dengannya
   • Hanya putus sekolah
6. Biaya utama menggunakan akumulasi gradien adalah:
   • Lebih banyak memori GPU yang digunakan pada puncaknya
   • Hilangnya semua gradien
   • Waktu jam dinding lebih lama per pembaruan efektif
   • Ketidakmampuan untuk menggunakan pengoptimal
7. A training loop clears gradients after every micro-batch but steps the optimizer every fourth batch. What is lost?
   • The model weights are deleted
   • The earlier micro-batch contributions to the accumulated update
   • The effective batch becomes four times larger
   • The loss automatically becomes zero
8. Mengapa empat batch mikro dengan BatchNorm berperilaku berbeda dari satu batch fisik dengan ukuran total yang sama?
   • The optimizer cannot accept four backward passes
   • Gradient addition is forbidden in BatchNorm
   • The number of training examples changes
   • BatchNorm uses statistics from each micro-batch rather than the combined batch