Tiếp theoHướng dẫn tiếp theo
Định dạng tuần tự hóa mô hình
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
FP8 và các định dạng có độ chính xác thấp
FP8 là định dạng số dấu phẩy động 8 bit cho phép các mô hình AI lưu trữ trọng số và chạy phép toán bằng cách sử dụng 1/4 bộ nhớ của các số 32 bit tiêu chuẩn.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Đó là một thủ thuật quan trọng để làm cho việc đào tạo và phục vụ các mô hình khổng lồ rẻ hơn và nhanh hơn.
Lặn sâu
Mạng lưới thần kinh được tạo thành từ hàng tỷ con số. Theo truyền thống, các số đó sử dụng 32 bit (FP32) hoặc 16 bit (FP16/BF16) mỗi số. FP8 thu nhỏ chúng xuống chỉ còn 8 bit, cắt giảm bộ nhớ và băng thông khoảng một nửa so với 16 bit. Có hai bố cục FP8 phổ biến: E4M3 (4 bit số mũ, 3 bit phần định trị) cho độ chính xác cao hơn nhưng phạm vi nhỏ hơn và E5M2 (5 số mũ, 2 phần định trị) cho phạm vi rộng hơn nhưng các bước thô hơn. Sự đánh đổi là độ trung thực: ít bit hơn có nghĩa là lỗi làm tròn. Để duy trì độ chính xác, các khung áp dụng các hệ số chia tỷ lệ trên mỗi tensor hoặc mỗi khối để điều chỉnh lại các giá trị thành phạm vi có thể sử dụng của FP8. GPU Hopper và Blackwell của NVIDIA đã bổ sung thêm công cụ ma trận phần cứng FP8, giúp nó trở nên thiết thực cho cả đào tạo và suy luận. Các định dạng mới hơn như MXFP8, MXFP4 và NVFP4 thậm chí còn có giá trị thấp hơn với các khối chia tỷ lệ vi mô được chia sẻ.
Triển khai trong thế giới thực
A team benchmarks an FP8 training recipe on hardware with supported matrix operations and compares it with BF16.
An inference team checks weight, activation, and cache memory before selecting FP8 serving.
A training implementation uses an FP8 encoding with a wider range for tensors whose values require it.
A deployment team evaluates supported four-bit formats against an accuracy and memory budget.
Tương lai của FP8 và các định dạng có độ chính xác thấp
Lower-precision formats should be evaluated as complete recipes rather than universal speed or quality guarantees. Block scaling, mixed-precision layers, and supported kernels can help balance numerical error with memory and compute costs. Four-bit formats such as MXFP4 and NVFP4 are additional choices on supporting systems; their range, scaling, and hardware requirements differ. A team should benchmark its own workload and retain higher precision where measured errors justify it.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Chi phí và ngân sách. Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
- Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
- Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
coi chừng
- Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
- Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
- Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Các bước tiếp theo
- Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
- Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
- Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
- Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the FP8 and Low-Precision Formats quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
FP8 và định dạng có độ chính xác thấp là gì?
FP8 là định dạng số dấu phẩy động 8 bit cho phép các mô hình AI lưu trữ trọng số và chạy phép toán bằng cách sử dụng 1/4 bộ nhớ của các số 32 bit tiêu chuẩn. Đó là một thủ thuật quan trọng để làm cho việc đào tạo và phục vụ các mô hình khổng lồ rẻ hơn và nhanh hơn.
Số FP8 sử dụng bao nhiêu bit so với số FP32 tiêu chuẩn?
FP8 sử dụng 8 bit trong khi FP32 sử dụng 32 bit, do đó FP8 chiếm một phần tư dung lượng lưu trữ và băng thông.
Nhãn 'E4M3' và 'E5M2' mô tả gì về định dạng FP8?
E4M3 có nghĩa là 4 bit số mũ và 3 bit mantissa; E5M2 có nghĩa là 5 số mũ và 2 bit mantissa. Nhiều bit số mũ hơn sẽ mở rộng phạm vi; nhiều bit mantissa thêm độ chính xác.
Tại sao đường ống FP8 áp dụng hệ số tỷ lệ cho tensor?
Với quá ít bit số mũ, các giá trị lớn sẽ tràn và các giá trị nhỏ sẽ tràn về 0. Tính năng chia tỷ lệ sẽ thay đổi tỷ lệ các thang đo thành cửa sổ có thể sử dụng của FP8 trước khi tính toán.
Sự đánh đổi nào là nhược điểm chính của việc sử dụng FP8?
Ít bit hơn có nghĩa là biểu diễn thô hơn và lỗi làm tròn nhiều hơn. Lợi ích là bộ nhớ và băng thông ít hơn nhiều và tính toán nhanh hơn trên phần cứng được hỗ trợ.
Thế hệ GPU NVIDIA nào đầu tiên bổ sung hỗ trợ phần cứng chuyên dụng cho phép toán ma trận FP8?
Các GPU dựa trên Hopper như H100 đã giới thiệu hỗ trợ FP8 Tensor Core và Blackwell sau đó đã mở rộng tính năng này sang FP4.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này