คู่มือทางเทคนิค
FP8 และรูปแบบความแม่นยำต่ำ
FP8 เป็นรูปแบบตัวเลขทศนิยม 8 บิตที่ช่วยให้โมเดล AI เก็บน้ำหนักและคำนวณโดยใช้หน่วยความจำหนึ่งในสี่ของตัวเลขมาตรฐาน 32 บิต
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
เป็นเคล็ดลับสำคัญในการทำให้โมเดลขนาดใหญ่ราคาถูกและเร็วกว่าในการฝึกฝนและให้บริการ
เจาะลึก
โครงข่ายประสาทเทียมประกอบด้วยตัวเลขหลายพันล้านตัว โดยปกติแล้วตัวเลขเหล่านั้นจะใช้ตัวเลขละ 32 บิต (FP32) หรือ 16 บิต (FP16/BF16) FP8 ย่อขนาดให้เหลือเพียง 8 บิต โดยลดหน่วยความจำและแบนด์วิธลงประมาณครึ่งหนึ่งเมื่อเทียบกับ 16 บิต มีโครงร่าง FP8 ทั่วไปสองแบบ: E4M3 (4 เลขชี้กำลังบิต, 3 บิตแมนทิสซา) ให้ความแม่นยำมากกว่าแต่มีช่วงที่เล็กกว่า และ E5M2 (5 เลขชี้กำลัง 2 แมนทิสซา) ให้ช่วงที่กว้างกว่าแต่มีขั้นตอนที่หยาบกว่า ข้อเสียเปรียบคือความเที่ยงตรง: บิตที่น้อยลงหมายถึงข้อผิดพลาดในการปัดเศษ เพื่อให้มีความถูกต้องแม่นยำ เฟรมเวิร์กจะใช้ปัจจัยการปรับขนาดต่อเทนเซอร์หรือต่อบล็อกที่จะรีสเกลค่าให้อยู่ในช่วงที่ใช้งานได้ของ FP8 Hopper และ Blackwell GPU ของ NVIDIA เพิ่มฮาร์ดแวร์เอ็นจิ้นเมทริกซ์ FP8 ทำให้ใช้งานได้จริงสำหรับทั้งการฝึกอบรมและการอนุมาน รูปแบบที่ใหม่กว่า เช่น MXFP8, MXFP4 และ NVFP4 ดันให้ต่ำลงอีกด้วยบล็อกไมโครสเกลที่ใช้ร่วมกัน
การใช้งานจริงในโลกแห่งความเป็นจริง
A team benchmarks an FP8 training recipe on hardware with supported matrix operations and compares it with BF16.
An inference team checks weight, activation, and cache memory before selecting FP8 serving.
A training implementation uses an FP8 encoding with a wider range for tensors whose values require it.
A deployment team evaluates supported four-bit formats against an accuracy and memory budget.
อนาคตของ FP8 และรูปแบบความแม่นยำต่ำ
Lower-precision formats should be evaluated as complete recipes rather than universal speed or quality guarantees. Block scaling, mixed-precision layers, and supported kernels can help balance numerical error with memory and compute costs. Four-bit formats such as MXFP4 and NVFP4 are additional choices on supporting systems; their range, scaling, and hardware requirements differ. A team should benchmark its own workload and retain higher precision where measured errors justify it.
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
- การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
- การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต
ระวัง
- การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
- ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
- ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น
ขั้นตอนต่อไป
- กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
- เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
- การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
- เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the FP8 and Low-Precision Formats quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
รูปแบบ FP8 และความแม่นยำต่ำคืออะไร
FP8 เป็นรูปแบบตัวเลขทศนิยม 8 บิตที่ช่วยให้โมเดล AI เก็บน้ำหนักและคำนวณโดยใช้หน่วยความจำหนึ่งในสี่ของตัวเลขมาตรฐาน 32 บิต เป็นเคล็ดลับสำคัญในการทำให้โมเดลขนาดใหญ่ราคาถูกและเร็วกว่าในการฝึกฝนและให้บริการ
หมายเลข FP8 ใช้จำนวนบิตเท่าใดเมื่อเทียบกับหมายเลข FP32 มาตรฐาน
FP8 ใช้ 8 บิตในขณะที่ FP32 ใช้ 32 บิต ดังนั้น FP8 จึงใช้พื้นที่เก็บข้อมูลและแบนด์วิดท์ถึงหนึ่งในสี่
ป้ายกำกับ 'E4M3' และ 'E5M2' อธิบายอะไรเกี่ยวกับรูปแบบ FP8
E4M3 หมายถึง 4 บิตเอ็กซ์โปเนนต์ และ 3 บิตแมนทิสซา E5M2 หมายถึง 5 เลขชี้กำลังและ 2 บิตแมนทิสซา บิตเลขชี้กำลังเพิ่มเติมจะขยายช่วงให้กว้างขึ้น บิตแมนทิสซามากขึ้นเพิ่มความแม่นยำ
เหตุใดไปป์ไลน์ FP8 จึงใช้ปัจจัยสเกลกับเทนเซอร์
เนื่องจากมีบิตเลขชี้กำลังเพียงเล็กน้อย ค่าขนาดใหญ่จะล้นออกมา และค่าเล็กๆ จะลดลงจนเหลือศูนย์ การปรับขนาดเทนเซอร์ใหม่ในหน้าต่างที่ใช้งานได้ของ FP8 ก่อนคำนวณ
ข้อเสียเปรียบหลักของการใช้ FP8 คืออะไร
บิตที่น้อยลงหมายถึงการแสดงที่หยาบขึ้นและมีข้อผิดพลาดในการปัดเศษมากขึ้น ข้อดีคือมีหน่วยความจำและแบนด์วิธน้อยกว่ามาก และคำนวณได้เร็วกว่าบนฮาร์ดแวร์ที่รองรับ
NVIDIA GPU รุ่นใดที่เพิ่มการรองรับฮาร์ดแวร์เฉพาะสำหรับคณิตศาสตร์เมทริกซ์ FP8 เป็นครั้งแรก
GPU ที่ใช้ฮอปเปอร์เช่น H100 แนะนำการรองรับ FP8 Tensor Core และต่อมา Blackwell ได้ขยายสิ่งนี้เป็น FP4
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้