Tiếp theoHướng dẫn tiếp theo
Kỹ thuật đại diện và chỉ đạo kích hoạt
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
SmoothQuant và Lượng tử hóa kích hoạt
SmoothQuant là một kỹ thuật giúp nén các mô hình ngôn ngữ lớn xuống số nguyên 8 bit cho cả trọng số và kích hoạt mà không cần đào tạo lại.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Điều này quan trọng vì các kích hoạt trong các mô hình lớn chứa các ngoại lệ cực đoan thường phá hỏng phép toán có độ chính xác thấp và SmoothQuant đã chế ngự chúng.
Lặn sâu
Khi bạn thu nhỏ một mô hình từ số float 16 bit thành số nguyên 8 bit, trọng số sẽ dễ dàng bị nén nhưng việc kích hoạt lại gặp khó khăn: một số kênh nhất định mang giá trị lớn hơn 10 đến 100 lần so với các số còn lại và buộc chúng vào một lưới số nguyên thô sẽ làm mất đi độ chính xác. SmoothQuant, được giới thiệu bởi Xiao và cộng sự. vào năm 2022, nhận thấy rằng trọng số trơn tru và dễ định lượng trong khi số lần kích hoạt tăng đột biến. Vì vậy, nó giải quyết khó khăn một cách toán học: nó chia các kênh kích hoạt theo thang đo trên mỗi kênh và nhân trọng số tương ứng với cùng một thang đo. Hai thao tác này bị hủy, khiến đầu ra của mô hình không thay đổi, nhưng giờ đây cả hai tensor đều nằm trong phạm vi phù hợp. Kết quả là suy luận W8A8 (trọng lượng và kích hoạt 8 bit) với mức độ mất độ chính xác gần như bằng 0 và tăng tốc khoảng 2 lần cũng như tiết kiệm bộ nhớ.
Triển khai trong thế giới thực
Cung cấp LLM tham số 70B ở W8A8 trên ít GPU hơn bằng cách giảm một nửa cả chi phí bộ nhớ và nhân ma trận
Kích hoạt suy luận INT8 trên lõi tensor NVIDIA Hopper/Blackwell giúp tăng tốc toán học số nguyên 8 bit
Triển khai các mô hình trò chuyện trên các điểm cuối đám mây có chi phí hạn chế, trong đó việc tăng gấp đôi thông lượng sẽ trực tiếp cắt giảm hóa đơn cho mỗi mã thông báo
Nén bộ mã hóa biến áp để dịch hoặc nói trên thiết bị trong đó hạt nhân 8 bit chạy nhanh hơn và mát hơn
Tương lai của SmoothQuant và Lượng tử hóa kích hoạt
SmoothQuant đã xác định rằng các ngoại lệ kích hoạt có thể di chuyển được thay vì không thể tránh khỏi và ý tưởng đó hiện đang củng cố việc phân phát INT8 và FP8 sản xuất. Mong đợi việc làm mịn sẽ được kết hợp với các sơ đồ chi tiết hơn như lượng tử hóa theo nhóm, chia tỷ lệ đã học và nghiên cứu kích hoạt 4 bit (ví dụ: các phương pháp nhận biết ngoại lệ). Khi phần cứng FP8 (Hopper, Blackwell) trưởng thành, việc cân bằng kiểu làm mịn sẽ tiếp tục được đưa vào các đường dẫn của trình biên dịch và công cụ suy luận để quá trình lượng tử hóa gần như không bị ảnh hưởng.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Chi phí và ngân sách. Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
- Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
- Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
coi chừng
- Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
- Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
- Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Các bước tiếp theo
- Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
- Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
- Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
- Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the SmoothQuant and Activation Quantization quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
SmoothQuant và Lượng tử hóa kích hoạt là gì?
SmoothQuant là một kỹ thuật giúp nén các mô hình ngôn ngữ lớn xuống số nguyên 8 bit cho cả trọng số và kích hoạt mà không cần đào tạo lại. Điều này quan trọng vì các kích hoạt trong các mô hình lớn chứa các ngoại lệ cực đoan thường phá hỏng phép toán có độ chính xác thấp và SmoothQuant đã chế ngự chúng.
SmoothQuant giải quyết cụ thể vấn đề gì trong suy luận có độ chính xác thấp?
SmoothQuant nhắm mục tiêu các giá trị ngoại lệ lớn xuất hiện trong các kênh kích hoạt nhất định, nếu không sẽ phá hủy độ chính xác khi kích hoạt được lượng tử hóa thành 8 bit.
SmoothQuant giúp định lượng kích hoạt dễ dàng hơn như thế nào?
Nó chia các kênh kích hoạt theo thang đo trên mỗi kênh và nhân trọng số phù hợp với thang đo đó, do đó sản phẩm không thay đổi nhưng cả hai tensor trở nên dễ lượng tử hóa hơn.
Ký hiệu W8A8 có nghĩa là gì?
W8A8 biểu thị lượng tử hóa 8 bit cho cả trọng số (W) và kích hoạt (A), chế độ SmoothQuant cho phép giảm độ chính xác ở mức tối thiểu.
Tại sao việc mở rộng quy mô của SmoothQuant về cơ bản không tăng thêm chi phí thời gian chạy?
Các thang đo làm mịn được xếp vào trọng số của lớp trước hoặc một op hợp nhất trước thời hạn, do đó không có tính toán bổ sung nào xảy ra khi suy luận.
Siêu tham số alpha đóng vai trò gì trong SmoothQuant?
Alpha (thường là 0,5) cân bằng hệ số làm mịn, quyết định mức độ khó lượng tử hóa được chuyển ra khỏi kích hoạt và chuyển sang trọng số.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này