Tải trạng thái tối ưu hóa xuống CPU và NVMe Quiz

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Mục tiêu chính của việc giảm tải trạng thái tối ưu hóa cho CPU hoặc NVMe là gì?
   • Để làm cho mô hình chính xác hơn
   • Để giảm số lượng thời gian đào tạo cần thiết
   • Để loại bỏ hoàn toàn sự cần thiết của gradient
   • Để phù hợp với các mô hình lớn hơn bằng cách giải phóng bộ nhớ GPU khan hiếm
2. For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?
   • Two bytes for all three values
   • Twelve bytes, excluding model weights and gradients
   • Sixteen bytes for the three values alone
   • Zero bytes because they are implicit
3. Khung nào có tính năng giảm tải trình tối ưu hóa quy mô lớn phổ biến?
   • Chức năng kích hoạt mới
   • nén ảnh JPEG
   • DeepSpeed Zero-Offload và Zero-Infinity
   • Cắt bớt độ dốc
4. Chi phí hiệu năng chính của việc giảm tải cho CPU hoặc NVMe là bao nhiêu?
   • Dữ liệu phải di chuyển qua các liên kết chậm hơn như PCIe hoặc vào đĩa, làm tăng thêm độ trễ
   • Người mẫu quên đào tạo trước đó
   • Trình tối ưu hóa trở nên không chính xác về mặt toán học
   • Nhiệt độ GPU giảm quá thấp
5. Làm thế nào để các hệ thống giảm tải che giấu phần lớn độ trễ truyền tải?
   • Bằng cách bỏ qua bước lùi
   • Bằng cách chồng chéo việc tìm nạp trước dữ liệu với quá trình tính toán GPU đang diễn ra
   • Bằng cách chỉ đào tạo một tham số tại một thời điểm
   • Bằng cách vô hiệu hóa độ chính xác hỗn hợp
6. Trong ZeRO-Offload, bước tối ưu hóa Adam thường thực hiện ở đâu?
   • Hoàn toàn trên bộ điều khiển NVMe
   • Trên GPU hiển thị riêng
   • Trên CPU, sử dụng trọng số và khoảnh khắc chính được lưu trữ ở đó
   • Bên trong switch mạng
7. Optimizer states are offloaded, but GPU weights and activations still exceed capacity. What follows?
   • The job can still run out of GPU memory
   • Offloading guarantees the job fits any GPU
   • The optimizer moments automatically become model activations
   • The model no longer needs forward tensors
8. A CPU-offloaded optimizer becomes the training bottleneck. Which measurement is most relevant?
   • Only the inference accuracy
   • The UI font used for training logs
   • Only the number of dataset classes
   • Host optimizer-update time and host-device transfer time