คู่มือทางเทคนิค

FP8 และรูปแบบความแม่นยำต่ำ

FP8 เป็นรูปแบบตัวเลขทศนิยม 8 บิตที่ช่วยให้โมเดล AI เก็บน้ำหนักและคำนวณโดยใช้หน่วยความจำหนึ่งในสี่ของตัวเลขมาตรฐาน 32 บิต

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของ FP8 และรูปแบบความแม่นยำต่ำ
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

เป็นเคล็ดลับสำคัญในการทำให้โมเดลขนาดใหญ่ราคาถูกและเร็วกว่าในการฝึกฝนและให้บริการ

เจาะลึก

โครงข่ายประสาทเทียมประกอบด้วยตัวเลขหลายพันล้านตัว โดยปกติแล้วตัวเลขเหล่านั้นจะใช้ตัวเลขละ 32 บิต (FP32) หรือ 16 บิต (FP16/BF16) FP8 ย่อขนาดให้เหลือเพียง 8 บิต โดยลดหน่วยความจำและแบนด์วิธลงประมาณครึ่งหนึ่งเมื่อเทียบกับ 16 บิต มีโครงร่าง FP8 ทั่วไปสองแบบ: E4M3 (4 เลขชี้กำลังบิต, 3 บิตแมนทิสซา) ให้ความแม่นยำมากกว่าแต่มีช่วงที่เล็กกว่า และ E5M2 (5 เลขชี้กำลัง 2 แมนทิสซา) ให้ช่วงที่กว้างกว่าแต่มีขั้นตอนที่หยาบกว่า ข้อเสียเปรียบคือความเที่ยงตรง: บิตที่น้อยลงหมายถึงข้อผิดพลาดในการปัดเศษ เพื่อให้มีความถูกต้องแม่นยำ เฟรมเวิร์กจะใช้ปัจจัยการปรับขนาดต่อเทนเซอร์หรือต่อบล็อกที่จะรีสเกลค่าให้อยู่ในช่วงที่ใช้งานได้ของ FP8 Hopper และ Blackwell GPU ของ NVIDIA เพิ่มฮาร์ดแวร์เอ็นจิ้นเมทริกซ์ FP8 ทำให้ใช้งานได้จริงสำหรับทั้งการฝึกอบรมและการอนุมาน รูปแบบที่ใหม่กว่า เช่น MXFP8, MXFP4 และ NVFP4 ดันให้ต่ำลงอีกด้วยบล็อกไมโครสเกลที่ใช้ร่วมกัน

การใช้งานจริงในโลกแห่งความเป็นจริง

A team benchmarks an FP8 training recipe on hardware with supported matrix operations and compares it with BF16.

An inference team checks weight, activation, and cache memory before selecting FP8 serving.

A training implementation uses an FP8 encoding with a wider range for tensors whose values require it.

A deployment team evaluates supported four-bit formats against an accuracy and memory budget.

อนาคตของ FP8 และรูปแบบความแม่นยำต่ำ

Lower-precision formats should be evaluated as complete recipes rather than universal speed or quality guarantees. Block scaling, mixed-precision layers, and supported kernels can help balance numerical error with memory and compute costs. Four-bit formats such as MXFP4 and NVFP4 are additional choices on supporting systems; their range, scaling, and hardware requirements differ. A team should benchmark its own workload and retain higher precision where measured errors justify it.

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the FP8 and Low-Precision Formats quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

รูปแบบ FP8 และความแม่นยำต่ำคืออะไร

FP8 เป็นรูปแบบตัวเลขทศนิยม 8 บิตที่ช่วยให้โมเดล AI เก็บน้ำหนักและคำนวณโดยใช้หน่วยความจำหนึ่งในสี่ของตัวเลขมาตรฐาน 32 บิต เป็นเคล็ดลับสำคัญในการทำให้โมเดลขนาดใหญ่ราคาถูกและเร็วกว่าในการฝึกฝนและให้บริการ

หมายเลข FP8 ใช้จำนวนบิตเท่าใดเมื่อเทียบกับหมายเลข FP32 มาตรฐาน

FP8 ใช้ 8 บิตในขณะที่ FP32 ใช้ 32 บิต ดังนั้น FP8 จึงใช้พื้นที่เก็บข้อมูลและแบนด์วิดท์ถึงหนึ่งในสี่

ป้ายกำกับ 'E4M3' และ 'E5M2' อธิบายอะไรเกี่ยวกับรูปแบบ FP8

E4M3 หมายถึง 4 บิตเอ็กซ์โปเนนต์ และ 3 บิตแมนทิสซา E5M2 หมายถึง 5 เลขชี้กำลังและ 2 บิตแมนทิสซา บิตเลขชี้กำลังเพิ่มเติมจะขยายช่วงให้กว้างขึ้น บิตแมนทิสซามากขึ้นเพิ่มความแม่นยำ

เหตุใดไปป์ไลน์ FP8 จึงใช้ปัจจัยสเกลกับเทนเซอร์

เนื่องจากมีบิตเลขชี้กำลังเพียงเล็กน้อย ค่าขนาดใหญ่จะล้นออกมา และค่าเล็กๆ จะลดลงจนเหลือศูนย์ การปรับขนาดเทนเซอร์ใหม่ในหน้าต่างที่ใช้งานได้ของ FP8 ก่อนคำนวณ

ข้อเสียเปรียบหลักของการใช้ FP8 คืออะไร

บิตที่น้อยลงหมายถึงการแสดงที่หยาบขึ้นและมีข้อผิดพลาดในการปัดเศษมากขึ้น ข้อดีคือมีหน่วยความจำและแบนด์วิธน้อยกว่ามาก และคำนวณได้เร็วกว่าบนฮาร์ดแวร์ที่รองรับ

NVIDIA GPU รุ่นใดที่เพิ่มการรองรับฮาร์ดแวร์เฉพาะสำหรับคณิตศาสตร์เมทริกซ์ FP8 เป็นครั้งแรก

GPU ที่ใช้ฮอปเปอร์เช่น H100 แนะนำการรองรับ FP8 Tensor Core และต่อมา Blackwell ได้ขยายสิ่งนี้เป็น FP4

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →