Bài kiểm tra đào tạo chính xác hỗn hợp

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. In an FP16 training recipe that keeps an FP32 master weight, why retain it?
   • Để duy trì độ chính xác trong các bản cập nhật trọng lượng nhỏ mà 16-bit có thể làm tròn
   • Để làm cho tệp mô hình nhỏ hơn trên đĩa
   • Để cho phép đào tạo mà không cần GPU
   • Để mã hóa các tham số mô hình
2. Việc chia tỷ lệ tổn thất giải quyết được vấn đề gì trong quá trình đào tạo FP16?
   • Các mô hình khớp dữ liệu quá mức
   • Độ dốc tràn về 0 vì phạm vi của FP16 hẹp
   • GPU hết dung lượng ổ đĩa
   • Tải dữ liệu từ đĩa chậm
3. bfloat16 có ưu điểm gì hơn FP16?
   • Nó sử dụng tổng số bit ít hơn
   • Nó lưu trữ văn bản thay vì số
   • Nó có phạm vi số mũ rộng tương tự như FP32, giảm nhu cầu chia tỷ lệ tổn thất
   • Nó chỉ chạy trên CPU
4. For many supported Tensor Core matrix operations, how are partial sums commonly accumulated?
   • In integer arithmetic with no rounding
   • In text before converting to FP16
   • In FP16 only, which prevents every numerical error
   • In FP32, which reduces rounding error compared with low-precision accumulation
5. What is a common benefit of using 16-bit values for supported training operations?
   • They can reduce tensor memory and improve throughput, with gains depending on hardware and workload
   • They guarantee higher model accuracy
   • They remove the need to compute gradients
   • They always double end-to-end training speed
6. Which current PyTorch APIs are commonly used for automatic mixed-precision training?
   • torch.cuda.amp only, which is the recommended new namespace
   • torch.amp.autocast and, for FP16 gradient scaling, torch.amp.GradScaler
   • torch.load and torch.save
   • torch.nn.DataParallel and torch.manual_seed
7. Why does bfloat16 often need less loss scaling than FP16?
   • It has more mantissa bits than FP32
   • It stores gradients as integers
   • It has an exponent range like FP32, so very small gradients are less likely to underflow
   • It never rounds values
8. What does autocast do in automatic mixed precision?
   • Converts every tensor and operation to FP16 unconditionally
   • Replaces the optimizer with a different algorithm
   • Guarantees identical bitwise results to FP32
   • Selects operation dtypes so supported operations can use lower precision while others retain safer precision