Mô hình hỗn hợp và thưa thớt
Mixtral là mô hình hỗn hợp chuyên gia mở của Mistral AI mang lại chất lượng mô hình lớn ở tốc độ mô hình nhỏ.
Tổng quan
Sparse models like it activate only a fraction of their parameters per token, cutting compute without sacrificing capability.
Lặn sâu
Mixtral 8x7B, do Mistral AI phát hành vào cuối năm 2023, đã phổ biến phương pháp tiếp cận hỗn hợp chuyên gia (MoE) thưa thớt trong các mô hình mở. Nó chứa tám mạng chuyển tiếp nguồn cấp dữ liệu 'chuyên gia' riêng biệt trên mỗi lớp, với tổng số khoảng 47 tỷ tham số, nhưng một bộ định tuyến nhẹ chỉ chọn hai chuyên gia cho mỗi mã thông báo. Kết quả là, chỉ có khoảng 13 tỷ tham số đang hoạt động trên mỗi mã thông báo, do đó quá trình suy luận diễn ra nhanh như mô hình dày đặc 13B trong khi vẫn đạt được chất lượng tương đương với các mô hình lớn hơn nhiều. Mixtral phù hợp hoặc đánh bại GPT-3.5 và Llama 2 70B trên nhiều điểm chuẩn trong khi phân phát nhanh hơn và rẻ hơn. Mistral sau đó đã phát hành Mixtral 8x22B. Mô hình này được cấp phép mở theo Apache 2.0, thúc đẩy việc áp dụng và tinh chỉnh nhanh chóng trong cộng đồng nguồn mở.
Hiểu biết kỹ thuật
Trong lớp MoE thưa thớt, khối chuyển tiếp nguồn cấp dữ liệu dày đặc được thay thế bằng N mạng chuyên gia cộng với một mạng cổng nhỏ (bộ định tuyến). Đối với mỗi mã thông báo, bộ định tuyến sẽ tính điểm và chọn các chuyên gia hàng đầu (top 2 trong Mixtral), chỉ định tuyến mã thông báo thông qua những chuyên gia đó. Kết quả đầu ra của họ được tính trọng số và tính tổng. Bởi vì hầu hết các chuyên gia đều không hoạt động trên mỗi mã thông báo nên mô hình chứa nhiều tham số trong bộ nhớ nhưng thực hiện ít tính toán hơn. Sự đánh đổi: tất cả các chuyên gia phải được tải vào VRAM mặc dù chỉ một số lần chạy.
Tác động chiến lược
Chi phí và ngân sách
Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
Quyết định rõ ràng hơn
Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
Kiểm soát chất lượng
Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
Tương lai của các mô hình hỗn hợp và thưa thớt
MoE thưa thớt hiện là trung tâm của AI biên giới. Mong đợi nhiều bản phát hành MoE mở hơn, định tuyến chi tiết hơn với nhiều chuyên gia nhỏ và các thiết kế chuyên gia được chia sẻ hoặc kết hợp để cải thiện hiệu quả hơn nữa. Khi các mô hình mở rộng tới hàng nghìn tỷ tham số, độ thưa thớt là đòn bẩy chính để duy trì khả năng suy luận ở mức hợp lý. Nghiên cứu đang giải quyết các điểm yếu của MoE, cân bằng tải giữa các chuyên gia, chi phí bộ nhớ và độ ổn định trong đào tạo, trong khi ngăn xếp phần cứng và dịch vụ ngày càng tối ưu hóa đặc biệt cho định tuyến chuyên gia.
Triển khai trong thế giới thực
Phục vụ một chatbot chất lượng cao với chi phí và tốc độ của một mô hình dày đặc nhỏ hơn nhiều
Tự lưu trữ mô hình được cấp phép Apache-2.0 cho các sản phẩm thương mại mà không tính phí sử dụng
Tinh chỉnh các hành vi riêng lẻ trên Mixtral cho các tác vụ mã hóa, tóm tắt hoặc đa ngôn ngữ
Chạy suy luận nhanh trên một máy chủ nhiều GPU trong đó mô hình dày đặc 70B sẽ quá chậm
Rủi ro & lan can
Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Lộ trình thực hiện
Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Mixtral and Sparse Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Mô hình và đường ống song song
Câu hỏi thường gặp
What is Mixtral and Sparse Models?
Mixtral là mô hình hỗn hợp chuyên gia mở của Mistral AI mang lại chất lượng mô hình lớn ở tốc độ mô hình nhỏ. Các mô hình thưa thớt như vậy chỉ kích hoạt một phần tham số trên mỗi mã thông báo, cắt giảm khả năng tính toán mà không làm mất khả năng.
Trong Mixtral 8x7B, có bao nhiêu chuyên gia xử lý từng mã thông báo riêng lẻ?
Mixtral sử dụng định tuyến top 2: bộ định tuyến chọn hai trong số tám chuyên gia để xử lý từng mã thông báo.
Thành phần nào quyết định mã thông báo được gửi đến chuyên gia nào?
Một mạng cổng nhỏ, được gọi là bộ định tuyến, chấm điểm các chuyên gia và chọn ra chuyên gia nào xử lý từng mã thông báo.
Mặc dù Mixtral 8x7B có tổng số tham số khoảng 47B, nhưng khoảng bao nhiêu tham số đang hoạt động trên mỗi mã thông báo?
Bởi vì chỉ có hai chuyên gia chạy trên mỗi mã thông báo nên khoảng 13 tỷ tham số đang hoạt động, mang lại tốc độ cho mô hình nhỏ hơn nhiều.
Sự đánh đổi quan trọng của các mô hình MoE thưa thớt như Mixtral là gì?
MoE tiết kiệm điện toán trên mỗi mã thông báo nhưng vẫn yêu cầu tất cả các chuyên gia phải ở trong VRAM, làm tăng nhu cầu bộ nhớ.
Mistral AI đã phát hành Mixtral theo giấy phép nào, thúc đẩy việc áp dụng rộng rãi?
Mixtral được phát hành theo giấy phép Apache 2.0 cho phép, cho phép sử dụng thương mại và tinh chỉnh miễn phí.