คู่มือทางเทคนิค

การฝึกความแม่นยำแบบผสม

Mixed precision uses lower-precision arithmetic for selected operations while retaining precision where needed.

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการฝึกอบรมแบบผสมความแม่นยำ
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

It can reduce memory use and improve throughput on supported hardware, but gains and numerical effects depend on the model, workload, hardware and training recipe.

เจาะลึก

Traditional training stores weights and runs math in 32-bit floating point (FP32). Mixed precision uses lower-precision FP16 or bfloat16 for eligible operations while retaining FP32 where needed. Some FP16 recipes maintain a separate FP32 master copy to accumulate small weight updates; autocast workflows may instead keep model parameters in FP32 while casting selected operation inputs. Using 16-bit tensors can reduce memory used by eligible operations. Supported accelerators may execute some low-precision operations faster, but end-to-end throughput depends on hardware, workload and which operations autocast selects. FP16 has a narrower range, so tiny gradients can underflow. Loss scaling multiplies the loss before backpropagation and reverses that scale before the optimizer update; tools such as torch.amp.GradScaler can manage this process. Bfloat16 has a wider exponent range than FP16 and often does not need the same loss-scaling strategy, though model and hardware behavior still need testing.

การใช้งานจริงในโลกแห่งความเป็นจริง

torch.cuda.amp.autocast ของ PyTorch ห่อลูปการฝึกอบรมเพื่อลดหน่วยความจำลงประมาณครึ่งหนึ่งและทรูพุตสองเท่าบน GPU ตัวเดียว

การฝึกอบรมโมเดลภาษาขนาดใหญ่ เช่น หม้อแปลงสไตล์ GPT ใน bfloat16 บน TPU เพื่อหลีกเลี่ยงการปรับลดการสูญเสียขนาด

ปรับขนาดแบตช์ที่ใหญ่ขึ้นบน RTX GPU สำหรับผู้บริโภคโดยเปลี่ยนการฝึกอิมเมจ ResNet จาก FP32 เป็น FP16

ความแม่นยำแบบผสม FP8 บน NVIDIA H100 GPU เพื่อลดต้นทุนในการฝึกโมเดลระดับแนวหน้าล่วงหน้า

อนาคตของการฝึกอบรมแบบผสมความแม่นยำ

ความแม่นยำลดลงเรื่อยๆ การฝึกอบรม FP8 ซึ่งได้รับการสนับสนุนบน NVIDIA Hopper และ Blackwell GPU กำลังกลายเป็นมาตรฐานสำหรับโมเดลระดับแนวหน้า และการวิจัยเกี่ยวกับ FP4 และรูปแบบไมโครสเกล (MXFP) จะผลักดันต่อไป คาดหวังว่าเฟรมเวิร์กจะเลือกความแม่นยำต่อเลเยอร์โดยอัตโนมัติ ฮาร์ดแวร์เพื่อจัดการรูปแบบที่แคบลงกว่าเดิม และการฝึกอบรมที่คำนึงถึงปริมาณเพื่อลดเส้นแบ่งระหว่างการฝึกอบรมและการอนุมานที่มีความแม่นยำต่ำ ซึ่งจะช่วยลดต้นทุนของการฝึกอบรมแบบจำลองล้านล้านพารามิเตอร์

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Mixed Precision Training quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

การฝึกแบบผสมความแม่นยำคืออะไร?

Mixed precision uses lower-precision arithmetic for selected operations while retaining precision where needed. It can reduce memory use and improve throughput on supported hardware, but gains and numerical effects depend on the model, workload, hardware and training recipe.

In an FP16 training recipe that keeps an FP32 master weight, why retain it?

Some FP16 recipes keep an FP32 master weight so small optimizer updates are not lost to low-precision rounding; not every mixed-precision recipe uses a separate copy.

การปรับขนาดการสูญเสียแก้ปัญหาอะไรในการฝึกอบรม FP16

FP16 มีช่วงไดนามิกที่จำกัด ดังนั้นการไล่ระดับสีเล็กน้อยจึงสามารถปัดเศษให้เป็นศูนย์ได้ การคูณการสูญเสียก่อน backprop ช่วยให้สามารถแสดงได้

bfloat16 มีข้อได้เปรียบเหนือ FP16 อย่างไร

Bfloat16 เก็บบิตเลขชี้กำลัง 8 บิตเช่น FP32 ดังนั้นช่วงไดนามิกของมันจึงมีขนาดใหญ่และการไล่ระดับสีอันเดอร์โฟลว์นั้นหาได้ยาก

For many supported Tensor Core matrix operations, how are partial sums commonly accumulated?

Many common Tensor Core operations accumulate in FP32 to reduce rounding error; this does not make the computation exact.

What is a common benefit of using 16-bit values for supported training operations?

Lower precision can reduce memory and speed supported operations, but total results depend on the model, hardware, and kernels used.

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →