แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการฝึกอบรมความแม่นยำแบบผสม
ครอบคลุมช่วง FP16 และการสูญเสียมาตราส่วน, bfloat16, น้ำหนักหลัก, การส่งอัตโนมัติ, การสะสม Tensor Core และการวัดผลที่เพิ่มขึ้นขึ้นอยู่กับฮาร์ดแวร์
คำถาม 1 ของ 8
In an FP16 training recipe that keeps an FP32 master weight, why retain it?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- In an FP16 training recipe that keeps an FP32 master weight, why retain it?
- เพื่อรักษาความแม่นยำในการอัปเดตน้ำหนักเล็กๆ ที่สามารถปัดเศษแบบ 16 บิตได้
- เพื่อทำให้ไฟล์โมเดลมีขนาดเล็กลงบนดิสก์
- เพื่อให้สามารถฝึกอบรมโดยไม่ต้องใช้ GPU
- เพื่อเข้ารหัสพารามิเตอร์โมเดล
- การปรับขนาดการสูญเสียแก้ปัญหาอะไรในการฝึกอบรม FP16
- โมเดลที่มีข้อมูลมากเกินไป
- การไล่ระดับสีอันเดอร์โฟลว์เป็นศูนย์เนื่องจากช่วงของ FP16 แคบ
- GPU พื้นที่ดิสก์ไม่เพียงพอ
- โหลดข้อมูลจากดิสก์ช้า
- bfloat16 มีข้อได้เปรียบเหนือ FP16 อย่างไร
- มันใช้บิตรวมน้อยกว่า
- มันเก็บข้อความแทนตัวเลข
- มีช่วงเลขชี้กำลังที่กว้างเช่นเดียวกับ FP32 ซึ่งช่วยลดความจำเป็นในการปรับขนาดการสูญเสีย
- มันทำงานบน CPU เท่านั้น
- For many supported Tensor Core matrix operations, how are partial sums commonly accumulated?
- In integer arithmetic with no rounding
- In text before converting to FP16
- In FP16 only, which prevents every numerical error
- In FP32, which reduces rounding error compared with low-precision accumulation
- What is a common benefit of using 16-bit values for supported training operations?
- They can reduce tensor memory and improve throughput, with gains depending on hardware and workload
- They guarantee higher model accuracy
- They remove the need to compute gradients
- They always double end-to-end training speed
- Which current PyTorch APIs are commonly used for automatic mixed-precision training?
- torch.cuda.amp only, which is the recommended new namespace
- torch.amp.autocast and, for FP16 gradient scaling, torch.amp.GradScaler
- torch.load and torch.save
- torch.nn.DataParallel and torch.manual_seed
- Why does bfloat16 often need less loss scaling than FP16?
- It has more mantissa bits than FP32
- It stores gradients as integers
- It has an exponent range like FP32, so very small gradients are less likely to underflow
- It never rounds values
- What does autocast do in automatic mixed precision?
- Converts every tensor and operation to FP16 unconditionally
- Replaces the optimizer with a different algorithm
- Guarantees identical bitwise results to FP32
- Selects operation dtypes so supported operations can use lower precision while others retain safer precision