Tiếp theoHướng dẫn tiếp theo
Mô hình và đường ống song song
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
Mô hình hỗn hợp và thưa thớt
Mixtral 8x7B là mô hình ngôn ngữ hỗn hợp các chuyên gia thưa thớt.
Nghe hướng dẫn nàyAI thuật lại · ~1 min
Trên trang nàyđọc 1 phút
Tổng quan
Bộ định tuyến chọn hai trong số tám mạng chuyển tiếp nguồn cấp dữ liệu chuyên gia cho mỗi mã thông báo, trong khi các thành phần mô hình khác vẫn là một phần của điểm kiểm tra được triển khai.
Lặn sâu
Thẻ mô hình Mixtral 8x7B mô tả một máy biến áp hỗn hợp gồm nhiều chuyên gia thưa thớt với tám chuyên gia và hai định tuyến hàng đầu cho mỗi mã thông báo. Nó báo cáo tổng số khoảng 46,7B tham số, với khoảng 12,9B hoạt động trên mỗi mã thông báo. Các tham số hoạt động ảnh hưởng đến tính toán, nhưng suy luận thông thường vẫn cần quyền truy cập vào toàn bộ trọng số chuyên gia. Kết quả phụ thuộc vào việc triển khai, kích thước lô, độ dài ngữ cảnh và phần cứng. Số lượng hoạt động nhỏ hơn không đảm bảo tốc độ hoặc chất lượng cao hơn mô hình dày đặc. Mistral liệt kê tiếng Anh, tiếng Pháp, tiếng Ý, tiếng Đức và tiếng Tây Ban Nha là ngôn ngữ được hỗ trợ cho bản phát hành này. Biến thể Instruct được tối ưu hóa hơn nữa với tính năng tinh chỉnh có giám sát và tối ưu hóa tùy chọn trực tiếp; đây là những chi tiết dành riêng cho phiên bản phát hành.
Triển khai trong thế giới thực
Kiểm tra thẻ mẫu đã phát hành để biết các điều khoản về cấu trúc, định tuyến và giấy phép.
Ước tính bộ nhớ phục vụ bằng cách sử dụng kích thước điểm kiểm tra đầy đủ, không chỉ các tham số hoạt động.
Điểm chuẩn một điểm kiểm tra đã chọn trên lời nhắc và phần cứng mục tiêu.
So sánh các mô hình có cùng khối lượng công việc và tiêu chí chất lượng.
Tương lai của các mô hình hỗn hợp và thưa thớt
Nghiên cứu hỗn hợp của các chuyên gia khám phá tính toán có điều kiện và mở rộng quy mô. Hãy coi các tuyên bố về hiệu quả hoặc số lượng tham số trong tương lai dưới dạng giả thuyết cho đến khi được đo lường trên một mô hình, phần cứng và khối lượng công việc cụ thể.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Chi phí và ngân sách. Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
- Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
- Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
coi chừng
- Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
- Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
- Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Các bước tiếp theo
- Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
- Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
- Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
- Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Làm bài kiểm tra Mixtral và Mô hình thưa thớt
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
Mô hình Mixtral và thưa thớt là gì?
Mixtral 8x7B là mô hình ngôn ngữ hỗn hợp các chuyên gia thưa thớt. Bộ định tuyến chọn hai trong số tám mạng chuyển tiếp nguồn cấp dữ liệu chuyên gia cho mỗi mã thông báo, trong khi các thành phần mô hình khác vẫn là một phần của điểm kiểm tra được triển khai.
Trong Mixtral 8x7B, có bao nhiêu chuyên gia xử lý từng mã thông báo riêng lẻ?
Mixtral sử dụng định tuyến top 2: bộ định tuyến chọn hai trong số tám chuyên gia để xử lý từng mã thông báo.
Thành phần nào quyết định mã thông báo được gửi đến chuyên gia nào?
Một mạng cổng nhỏ, được gọi là bộ định tuyến, chấm điểm các chuyên gia và chọn ra chuyên gia nào xử lý từng mã thông báo.
Mặc dù Mixtral 8x7B có tổng số tham số khoảng 47B, nhưng khoảng bao nhiêu tham số đang hoạt động trên mỗi mã thông báo?
Bởi vì chỉ có hai chuyên gia chạy trên mỗi mã thông báo nên khoảng 13 tỷ tham số đang hoạt động, mang lại tốc độ cho mô hình nhỏ hơn nhiều.
Tài khoản thiết lập phân phát Mixtral phải làm gì ngay cả khi chỉ có hai chuyên gia chạy trên mỗi mã thông báo?
Định tuyến thưa thớt làm giảm tính toán trên mỗi mã thông báo, nhưng hướng dẫn cho biết nói chung phải có sẵn điểm kiểm tra đầy đủ; việc triển khai có thể sử dụng giảm tải hoặc chiến lược bộ nhớ khác.
Mistral AI đã phát hành Mixtral theo giấy phép nào, thúc đẩy việc áp dụng rộng rãi?
Mixtral được phát hành theo giấy phép Apache 2.0 cho phép, cho phép sử dụng thương mại và tinh chỉnh miễn phí.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này