Bài kiểm tra đánh đổi tính toán lại kích hoạt

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Việc tính toán lại kích hoạt sẽ đánh đổi điều gì để tiết kiệm bộ nhớ?
   • Độ chính xác của mô hình
   • Tính toán bổ sung (FLOP)
   • Băng thông mạng
   • Độ chính xác về số
2. Tại sao các kích hoạt chuyển tiếp thường được lưu trữ?
   • Để hiển thị chúng cho người dùng
   • Để nén mô hình
   • Chúng được yêu cầu để mã hóa
   • Bởi vì lan truyền ngược cần chúng để tính toán độ dốc
3. Why should activation checkpointing overhead be measured on the actual model?
   • Checkpoint placement, operators, and hardware determine the cost of replay
   • It always adds exactly forty percent to wall-clock time
   • It guarantees a tenfold speed improvement
   • It removes all forward computation
4. For an idealized N-layer chain with comparable activations, what storage scaling can square-root checkpoint placement achieve?
   • O(N squared) for all model parameters
   • O(1) for all training memory regardless of N
   • O(sqrt(N)) for activation storage
   • O(N squared) for optimizer state
5. Ý tưởng đằng sau việc tính toán lại có chọn lọc (không đầy đủ) là gì?
   • Tính toán lại mọi thao tác hai lần
   • Không bao giờ tính toán lại bất cứ điều gì
   • Chỉ tính toán lại lớp nhúng
   • Chỉ tính toán lại các hoạt động nặng về bộ nhớ nhưng tính toán rẻ, lưu trữ các hoạt động đắt tiền
6. Kỹ thuật bổ sung nào thường được kết hợp với tính toán lại để tiết kiệm nhiều bộ nhớ hơn?
   • Tăng kích thước lô
   • Giảm tải kích hoạt cho CPU hoặc NVMe
   • Loại bỏ tất cả các lớp chuẩn hóa
   • Chuyển sang chế độ suy luận
7. A checkpointed block contains dropout. Why does consistent RNG state matter during replay?
   • Dropout becomes a model-weight quantizer
   • The optimizer no longer needs gradients
   • Backward recomputation should reproduce the intended forward randomness
   • The batch size must become one
8. Checkpointing reduces stored activations, but optimizer states still exceed GPU memory. Why is the job still out of memory?
   • Activation recomputation does not remove optimizer-state storage
   • Checkpointing increases every optimizer tensor to FP64
   • Backward no longer consumes any memory
   • The model cannot use checkpointing with an optimizer