Kuiz berkaitan panduan · Sederhana Tahap

Kuiz Tukar Ganti Pengiraan Semula Pengaktifan

Ujian pengaktifan checkpointing pertukaran memori, pengiraan semula terpilih dan ketepatan main semula, termasuk sebab pengiraan tambahan tidak membetulkan semua kos memori.

Laluan panduan yang berkaitanTukar Ganti Pengiraan Semula Pengaktifan
soalan 1 daripada 8

Apakah yang diperdagangkan oleh pengiraan semula pengaktifan untuk menjimatkan memori?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah yang diperdagangkan oleh pengiraan semula pengaktifan untuk menjimatkan memori?
    • Ketepatan model
    • Pengiraan tambahan (FLOP)
    • Jalur lebar rangkaian
    • Ketepatan berangka
  2. Mengapakah pengaktifan laluan ke hadapan biasanya disimpan sama sekali?
    • Untuk memaparkannya kepada pengguna
    • Untuk memampatkan model
    • Mereka diperlukan untuk tokenisasi
    • Kerana perambatan belakang memerlukannya untuk mengira kecerunan
  3. Why should activation checkpointing overhead be measured on the actual model?
    • Checkpoint placement, operators, and hardware determine the cost of replay
    • It always adds exactly forty percent to wall-clock time
    • It guarantees a tenfold speed improvement
    • It removes all forward computation
  4. For an idealized N-layer chain with comparable activations, what storage scaling can square-root checkpoint placement achieve?
    • O(N squared) for all model parameters
    • O(1) for all training memory regardless of N
    • O(sqrt(N)) for activation storage
    • O(N squared) for optimizer state
  5. Apakah idea di sebalik pengiraan semula terpilih (tidak penuh)?
    • Kira semula setiap operasi dua kali
    • Jangan sekali-kali mengira semula apa-apa
    • Kira semula hanya lapisan benam
    • Kira semula hanya ops yang berat memori tetapi murah, cache yang mahal
  6. Teknik pelengkap yang manakah sering digabungkan dengan pengiraan semula untuk menjimatkan lebih banyak ingatan?
    • Meningkatkan saiz kelompok
    • Memunggah pengaktifan ke CPU atau NVMe
    • Mengalih keluar semua lapisan normalisasi
    • Bertukar kepada mod inferens
  7. A checkpointed block contains dropout. Why does consistent RNG state matter during replay?
    • Dropout becomes a model-weight quantizer
    • The optimizer no longer needs gradients
    • Backward recomputation should reproduce the intended forward randomness
    • The batch size must become one
  8. Checkpointing reduces stored activations, but optimizer states still exceed GPU memory. Why is the job still out of memory?
    • Activation recomputation does not remove optimizer-state storage
    • Checkpointing increases every optimizer tensor to FP64
    • Backward no longer consumes any memory
    • The model cannot use checkpointing with an optimizer