Sự song song của chuyên gia cho bài kiểm tra phục vụ MoE

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Tính song song của chuyên gia phân bổ điều gì trên các GPU?
   • Bản sao của mô hình đầy đủ để dự phòng
   • Chỉ người đứng đầu chú ý cá nhân
   • Các chuyên gia chuyển tiếp nguồn cấp dữ liệu khác nhau của lớp MoE
   • Các lớp của bảng nhúng
2. Mô hình giao tiếp nào là trọng tâm của sự song song của chuyên gia MoE?
   • Hai trao đổi tất cả (gửi và kết hợp)
   • Một buổi phát sóng duy nhất
   • Đồng bộ hóa độ dốc điểm-điểm
   • Không cần giao tiếp
3. Tại sao MoE giữ tính toán trên mỗi mã thông báo ở mức thấp mặc dù có tổng thông số rất lớn?
   • Nó nén trọng lượng xuống 1 bit
   • Nó bỏ qua các lớp chú ý
   • Các chuyên gia chia sẻ tất cả trọng lượng của họ
   • Chỉ những chuyên gia được chọn hàng đầu mới chạy trên mỗi mã thông báo
4. Vấn đề gì phát sinh do việc định tuyến phụ thuộc vào dữ liệu?
   • Vụ nổ độ dốc
   • Mất cân bằng tải, trong đó một số chuyên gia nhận được nhiều mã thông báo hơn
   • Bộ định tuyến không thể được đào tạo
   • Mã thông báo mất phần nhúng vị trí của chúng
5. Why are capacity limits and padding used in some MoE implementations?
   • To control expert buffer sizes and make computation shapes more predictable
   • To require every expert to process every token
   • To eliminate all token routing
   • To guarantee that every MoE system drops tokens
6. Làm cách nào để hệ thống che giấu độ trễ của các bước từ tất cả đến tất cả?
   • Bằng cách chạy trên CPU thay thế
   • Bằng cách loại bỏ bước kết hợp
   • Bằng cách tăng tốc độ học tập
   • Bằng cách giao tiếp chồng chéo với tính toán chuyên gia
7. A routed token chooses two MoE experts on different devices. What must expert-parallel execution do?
   • Run every expert in the model regardless of routing
   • Dispatch its representation to the selected experts and combine their outputs
   • Replace both expert networks with an attention head
   • Drop the token solely because it selected two devices
8. One MoE expert receives far more tokens than others. Why can the layer’s latency increase?
   • The total expert parameter count automatically doubles
   • The router’s outputs become attention positions
   • The overloaded expert becomes a straggler while other devices wait
   • All other experts are removed from memory