Sự kết hợp của các chuyên gia đố vui

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Trong lớp Hỗn hợp các chuyên gia, điều gì quyết định chuyên gia nào xử lý một mã thông báo nhất định?
   • Một bộ định tuyến nhỏ đã học (mạng cổng) chấm điểm các chuyên gia
   • Một bảng tra cứu cố định được đặt trước khi đào tạo
   • Độ dài lời nhắc của người dùng
   • Rút thăm ngẫu nhiên ở mỗi bước
2. Tại sao mô hình MoE có thể có tổng tham số lớn hơn nhiều so với mô hình dày đặc mà không có mức tăng tương ứng về giá mỗi mã thông báo?
   • Nó nén các tham số thành một trọng số chung duy nhất
   • Nó bỏ qua hoàn toàn các lớp chú ý
   • Chỉ một số chuyên gia (top-k) được kích hoạt cho mỗi mã thông báo
   • Nó chạy mọi chuyên gia nhưng tính trung bình kết quả
3. Mất mát cân bằng tải (phụ trợ) giải quyết vấn đề gì trong quá trình đào tạo MoE?
   • Mã thông báo quá dài cho cửa sổ ngữ cảnh
   • Bộ định tuyến sử dụng quá mức một số chuyên gia và bỏ đói phần còn lại
   • Độ dốc biến mất trong đầu chú ý
   • Trang bị quá mức cho bộ xác thực
4. Mixtral 8x7B kích hoạt 2 trong số 8 chuyên gia cho mỗi mã thông báo. Điều này ngụ ý gì về tính toán của nó so với kích thước của nó?
   • Nó sử dụng tất cả tính toán của 8 chuyên gia trên mỗi mã thông báo
   • Nó có tổng tham số ít hơn mô hình dày đặc 7B
   • Nó hoàn toàn không thể chạy trên GPU
   • Tính toán hoạt động trên mỗi mã thông báo của nó nhỏ hơn nhiều so với tổng số tham số gợi ý
5. Why can a sparse MoE still have substantial memory or storage requirements?
   • Every token necessarily activates all experts
   • Inactive experts cease to have parameters
   • Inactive expert weights still need accessible storage even when not selected for a token
   • The router removes all attention layers
6. Two selected MoE expert outputs are 2 and 6, with combination weights 0.25 and 0.75. What is their weighted output?
   • 5
   • 8
   • 2
   • 0,5
7. Increasing an MoE’s expert count keeps the same top-k and expert size. What can still increase serving cost?
   • The selected expert count must automatically become the total count
   • The model must stop using attention
   • Every inactive weight is automatically deleted
   • Router or communication overhead and the storage required for more experts
8. A sparse MoE calls a learned feed-forward subnetwork an expert. What does that name establish?
   • It is certified to answer only one academic discipline
   • It is one of the networks selected by routing, without proving a named subject specialty
   • It must be a human-written collection of rules
   • It contains no learned parameters