Câu đố về mô hình hỗn hợp và thưa thớt

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Trong Mixtral 8x7B, có bao nhiêu chuyên gia xử lý từng mã thông báo riêng lẻ?
   • Hai chuyên gia
   • Tất cả tám chuyên gia
   • Đúng là một chuyên gia
   • Một số ngẫu nhiên mỗi lần
2. Thành phần nào quyết định mã thông báo được gửi đến chuyên gia nào?
   • Công cụ mã thông báo
   • Bộ định tuyến (mạng cổng)
   • Lớp chú ý
   • Bảng nhúng
3. Mặc dù Mixtral 8x7B có tổng số tham số khoảng 47B, nhưng khoảng bao nhiêu tham số đang hoạt động trên mỗi mã thông báo?
   • Khoảng 47 tỷ
   • Khoảng 7 tỷ
   • Khoảng 13 tỷ
   • Khoảng 70 tỷ
4. Tài khoản thiết lập phân phát Mixtral phải làm gì ngay cả khi chỉ có hai chuyên gia chạy trên mỗi mã thông báo?
   • Only the active parameters ever need to be stored anywhere
   • All experts must always fit in GPU memory with no offloading option
   • Unused experts can be deleted without changing the checkpoint
   • The full expert weights must be available to the system, with residency or offloading depending on deployment
5. Mistral AI đã phát hành Mixtral theo giấy phép nào, thúc đẩy việc áp dụng rộng rãi?
   • Apache 2.0
   • Chỉ độc quyền, nguồn đóng
   • GPL v3
   • Creative Commons phi thương mại
6. What training steps does Mistral report for the Mixtral 8x7B Instruct variant?
   • Nó loại bỏ sự cần thiết của bất kỳ dữ liệu đào tạo nào
   • Supervised fine-tuning and direct preference optimization (DPO)
   • Nó loại bỏ hoàn toàn sự cần thiết của GPU
   • Nó đảm bảo các mô hình không bao giờ mắc lỗi
7. How many expert networks are available in each Mixtral 8x7B sparse mixture-of-experts layer?
   • Hai chuyên gia
   • Seven experts
   • Eight experts
   • Twelve experts
8. Which languages does Mistral list for Mixtral 8x7B?
   • Yes; all unused expert weights are deleted
   • Yes; it means the model is dense with 12.9B total parameters
   • No; it means every parameter is active for every token
   • English, French, Italian, German, and Spanish