แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการฝึกอบรมความแม่นยำแบบผสม

ครอบคลุมช่วง FP16 และการสูญเสียมาตราส่วน, bfloat16, น้ำหนักหลัก, การส่งอัตโนมัติ, การสะสม Tensor Core และการวัดผลที่เพิ่มขึ้นขึ้นอยู่กับฮาร์ดแวร์

เส้นทางแนะนำที่เกี่ยวข้องการฝึกความแม่นยำแบบผสม
คำถาม 1 ของ 8

In an FP16 training recipe that keeps an FP32 master weight, why retain it?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. In an FP16 training recipe that keeps an FP32 master weight, why retain it?
    • เพื่อรักษาความแม่นยำในการอัปเดตน้ำหนักเล็กๆ ที่สามารถปัดเศษแบบ 16 บิตได้
    • เพื่อทำให้ไฟล์โมเดลมีขนาดเล็กลงบนดิสก์
    • เพื่อให้สามารถฝึกอบรมโดยไม่ต้องใช้ GPU
    • เพื่อเข้ารหัสพารามิเตอร์โมเดล
  2. การปรับขนาดการสูญเสียแก้ปัญหาอะไรในการฝึกอบรม FP16
    • โมเดลที่มีข้อมูลมากเกินไป
    • การไล่ระดับสีอันเดอร์โฟลว์เป็นศูนย์เนื่องจากช่วงของ FP16 แคบ
    • GPU พื้นที่ดิสก์ไม่เพียงพอ
    • โหลดข้อมูลจากดิสก์ช้า
  3. bfloat16 มีข้อได้เปรียบเหนือ FP16 อย่างไร
    • มันใช้บิตรวมน้อยกว่า
    • มันเก็บข้อความแทนตัวเลข
    • มีช่วงเลขชี้กำลังที่กว้างเช่นเดียวกับ FP32 ซึ่งช่วยลดความจำเป็นในการปรับขนาดการสูญเสีย
    • มันทำงานบน CPU เท่านั้น
  4. For many supported Tensor Core matrix operations, how are partial sums commonly accumulated?
    • In integer arithmetic with no rounding
    • In text before converting to FP16
    • In FP16 only, which prevents every numerical error
    • In FP32, which reduces rounding error compared with low-precision accumulation
  5. What is a common benefit of using 16-bit values for supported training operations?
    • They can reduce tensor memory and improve throughput, with gains depending on hardware and workload
    • They guarantee higher model accuracy
    • They remove the need to compute gradients
    • They always double end-to-end training speed
  6. Which current PyTorch APIs are commonly used for automatic mixed-precision training?
    • torch.cuda.amp only, which is the recommended new namespace
    • torch.amp.autocast and, for FP16 gradient scaling, torch.amp.GradScaler
    • torch.load and torch.save
    • torch.nn.DataParallel and torch.manual_seed
  7. Why does bfloat16 often need less loss scaling than FP16?
    • It has more mantissa bits than FP32
    • It stores gradients as integers
    • It has an exponent range like FP32, so very small gradients are less likely to underflow
    • It never rounds values
  8. What does autocast do in automatic mixed precision?
    • Converts every tensor and operation to FP16 unconditionally
    • Replaces the optimizer with a different algorithm
    • Guarantees identical bitwise results to FP32
    • Selects operation dtypes so supported operations can use lower precision while others retain safer precision