Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Bài kiểm tra điểm kiểm tra độ dốc

Giải thích việc tái cấu trúc kích hoạt, tiết kiệm bộ nhớ, chi phí tính toán phụ thuộc vào lịch trình và sự kết hợp với phân mảnh và độ chính xác hỗn hợp.

Đường dẫn hướng dẫn liên quanĐiểm kiểm tra độ dốc
Câu hỏi 1 của 8

Điểm kiểm tra độ dốc chủ yếu giao dịch gì để tiết kiệm bộ nhớ?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Điểm kiểm tra độ dốc chủ yếu giao dịch gì để tiết kiệm bộ nhớ?
    • Tính toán bổ sung (tính toán lại) để sử dụng ít bộ nhớ hơn
    • Độ chính xác của mô hình cho tốc độ
    • Dung lượng ổ đĩa cho băng thông mạng
    • Độ chính xác cho kích thước lô
  2. Tại sao kích hoạt thường được lưu trữ trong quá trình chuyển tiếp?
    • Để hiển thị chúng cho người dùng
    • Bởi vì lan truyền ngược cần chúng để tính toán độ dốc
    • Để tăng tốc độ tải dữ liệu
    • Họ không bao giờ thực sự cần thiết
  3. In a simplified chain of N similarly sized layers, what can checkpoint boundaries spaced about sqrt(N) layers apart achieve in the textbook schedule?
    • It stores no activations and performs no recomputation
    • It guarantees constant memory for every model graph
    • Activation storage can scale on the order of sqrt(N) checkpoints
    • It makes optimizer-state memory scale as sqrt(N)
  4. What most determines gradient-checkpointing runtime overhead in a practical model?
    • Only the model’s file extension
    • A fixed 20–30% slowdown for every model
    • The number of labels in the dataset
    • Which operations are recomputed, checkpoint placement, graph structure, and hardware
  5. Trong PyTorch, tiện ích nào thường được sử dụng để áp dụng điểm kiểm tra độ dốc cho mô-đun?
    • ngọn đuốc.utils.checkpoint
    • ngọn đuốc.optim.SGD
    • ngọn đuốc.nn.Dropout
    • ngọn đuốc.cuda.empty_cache
  6. What happens to operations inside a checkpointed region during backward?
    • Their gradients are skipped entirely
    • Their forward computations are rerun to regenerate needed activations
    • Their weights are permanently discarded
    • They are executed only during inference
  7. Which training techniques can be combined with activation checkpointing to reduce different memory costs?
    • Only increasing the number of labels
    • Turning off backpropagation
    • FSDP for sharded model state and mixed precision for lower-precision tensors
    • Replacing the model with a tokenizer
  8. What is selective activation checkpointing intended to choose?
    • Which training labels are removed
    • Which model outputs are published
    • Which GPU becomes the tokenizer
    • Which operations to save and which to recompute based on their memory and runtime costs