Etkinleştirme Yeniden Hesaplama Dengeleme Sınavı

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Aktivasyon yeniden hesaplaması hafızadan tasarruf etmek için neyi değiştirir?
   • Model doğruluğu
   • Ekstra hesaplama (FLOP'lar)
   • Ağ bant genişliği
   • Sayısal hassasiyet
2. İleri geçiş aktivasyonları neden normalde saklanıyor?
   • Bunları kullanıcıya göstermek için
   • Modeli sıkıştırmak için
   • Tokenizasyon için gereklidirler
   • Çünkü geri yayılımın gradyanları hesaplaması için onlara ihtiyacı var
3. Why should activation checkpointing overhead be measured on the actual model?
   • Checkpoint placement, operators, and hardware determine the cost of replay
   • It always adds exactly forty percent to wall-clock time
   • It guarantees a tenfold speed improvement
   • It removes all forward computation
4. For an idealized N-layer chain with comparable activations, what storage scaling can square-root checkpoint placement achieve?
   • O(N squared) for all model parameters
   • O(1) for all training memory regardless of N
   • O(sqrt(N)) for activation storage
   • O(N squared) for optimizer state
5. Seçici (tam değil) yeniden hesaplamanın ardındaki fikir nedir?
   • Her işlemi iki kez yeniden hesaplayın
   • Asla hiçbir şeyi yeniden hesaplama
   • Yalnızca gömme katmanını yeniden hesapla
   • Yalnızca bellek açısından yoğun ancak hesaplama açısından ucuz işlemleri yeniden hesaplayın, pahalı olanları önbelleğe alın
6. Daha fazla bellek tasarrufu sağlamak için hangi tamamlayıcı teknik sıklıkla yeniden hesaplamayla birleştirilir?
   • Toplu iş boyutunu artırma
   • Aktivasyonların CPU veya NVMe'ye aktarılması
   • Tüm normalleştirme katmanlarını kaldırma
   • Çıkarım moduna geçiş
7. A checkpointed block contains dropout. Why does consistent RNG state matter during replay?
   • Dropout becomes a model-weight quantizer
   • The optimizer no longer needs gradients
   • Backward recomputation should reproduce the intended forward randomness
   • The batch size must become one
8. Checkpointing reduces stored activations, but optimizer states still exceed GPU memory. Why is the job still out of memory?
   • Activation recomputation does not remove optimizer-state storage
   • Checkpointing increases every optimizer tensor to FP64
   • Backward no longer consumes any memory
   • The model cannot use checkpointing with an optimizer