Kuiz Pengumpulan Kecerunan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

1. Apakah yang boleh anda lakukan oleh pengumpulan kecerunan?
   • Berlatih tanpa sebarang GPU
   • Langkau hantaran ke belakang
   • Simulasikan saiz kelompok berkesan yang lebih besar pada memori terhad
   • Hapuskan pengoptimum sepenuhnya
2. Dengan saiz kumpulan mikro 4 dan 8 langkah pengumpulan, saiz kumpulan yang berkesan ialah:
   • 32
   • 4
   • 8
   • 12
3. With an accumulation factor N, when should optimizer.step() and zero_grad() occur?
   • Selepas setiap kumpulan mikro
   • tidak pernah
   • Sebelum hantaran hadapan
   • Call optimizer.step() after N micro-batches, then clear gradients before the next accumulation window
4. Untuk memastikan kadar pembelajaran berkesan betul, kerugian per-mikro-batch biasanya:
   • Darab dengan N
   • Dibahagikan dengan bilangan langkah pengumpulan N
   • Tetapkan kepada sifar
   • Digantikan dengan ketepatan
5. Lapisan normalisasi yang manakah berpasangan dengan lebih bersih dengan pengumpulan kecerunan?
   • Normalisasi lapisan atau kumpulan, kerana ia tidak bergantung pada statistik kelompok
   • Normalisasi kelompok, kerana ia menyukai kelompok kecil
   • Tiada normalisasi berfungsi dengannya
   • Hanya keciciran
6. Kos utama menggunakan pengumpulan kecerunan ialah:
   • Lebih banyak memori GPU digunakan pada puncak
   • Kehilangan semua kecerunan
   • Masa jam dinding yang lebih lama setiap kemas kini yang berkesan
   • Ketidakupayaan untuk menggunakan pengoptimum
7. A training loop clears gradients after every micro-batch but steps the optimizer every fourth batch. What is lost?
   • The model weights are deleted
   • The earlier micro-batch contributions to the accumulated update
   • The effective batch becomes four times larger
   • The loss automatically becomes zero
8. Why may four micro-batches with BatchNorm behave differently from one physical batch of the same total size?
   • The optimizer cannot accept four backward passes
   • Gradient addition is forbidden in BatchNorm
   • The number of training examples changes
   • BatchNorm uses statistics from each micro-batch rather than the combined batch