Kuis Pengorbanan Perhitungan Ulang Aktivasi

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa gunanya perhitungan ulang aktivasi untuk menghemat memori?
   • Akurasi model
   • Komputasi ekstra (FLOP)
   • Bandwidth jaringan
   • Presisi numerik
2. Mengapa aktivasi forward-pass biasanya disimpan?
   • Untuk menampilkannya kepada pengguna
   • Untuk mengompres model
   • Mereka diperlukan untuk tokenisasi
   • Karena propagasi mundur memerlukannya untuk menghitung gradien
3. Why should activation checkpointing overhead be measured on the actual model?
   • Checkpoint placement, operators, and hardware determine the cost of replay
   • It always adds exactly forty percent to wall-clock time
   • It guarantees a tenfold speed improvement
   • It removes all forward computation
4. For an idealized N-layer chain with comparable activations, what storage scaling can square-root checkpoint placement achieve?
   • O(N squared) for all model parameters
   • O(1) for all training memory regardless of N
   • O(sqrt(N)) for activation storage
   • O(N squared) for optimizer state
5. Apa gagasan di balik penghitungan ulang selektif (bukan penuh)?
   • Hitung ulang setiap operasi dua kali
   • Jangan pernah menghitung ulang apa pun
   • Hitung ulang hanya lapisan penyematan
   • Hitung ulang hanya operasi yang banyak memori tetapi komputasinya murah, cache yang mahal
6. Teknik pelengkap manakah yang sering digabungkan dengan penghitungan ulang untuk menghemat lebih banyak memori?
   • Meningkatkan ukuran batch
   • Membongkar aktivasi ke CPU atau NVMe
   • Menghapus semua lapisan normalisasi
   • Beralih ke mode inferensi
7. A checkpointed block contains dropout. Why does consistent RNG state matter during replay?
   • Dropout becomes a model-weight quantizer
   • The optimizer no longer needs gradients
   • Backward recomputation should reproduce the intended forward randomness
   • The batch size must become one
8. Checkpointing reduces stored activations, but optimizer states still exceed GPU memory. Why is the job still out of memory?
   • Activation recomputation does not remove optimizer-state storage
   • Checkpointing increases every optimizer tensor to FP64
   • Backward no longer consumes any memory
   • The model cannot use checkpointing with an optimizer