แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

ความเท่าเทียมของผู้เชี่ยวชาญสำหรับแบบทดสอบการให้บริการ MoE

ทดสอบตำแหน่งผู้เชี่ยวชาญ MoE การส่งโทเค็น และความไม่สมดุลของโหลด รวมถึงวิธีที่ผู้เชี่ยวชาญที่เลือกและการสื่อสารส่งผลต่อการอนุมานแบบกระจาย

คำถาม 1 ของ 8

ความเท่าเทียมของผู้เชี่ยวชาญกระจายไปทั่ว GPU อย่างไร

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. ความเท่าเทียมของผู้เชี่ยวชาญกระจายไปทั่ว GPU อย่างไร
    • สำเนาแบบจำลองฉบับเต็มเพื่อความซ้ำซ้อน
    • มุ่งความสนใจส่วนบุคคลเท่านั้น
    • ผู้เชี่ยวชาญด้านฟีดฟอร์เวิร์ดต่างๆ ของเลเยอร์ MoE
    • เลเยอร์ของตารางฝัง
  2. รูปแบบการสื่อสารใดเป็นศูนย์กลางของความเท่าเทียมของผู้เชี่ยวชาญ MoE
    • การแลกเปลี่ยนแบบ all-to-all สองรายการ (จัดส่งและรวมเข้าด้วยกัน)
    • ออกอากาศรายการเดียว
    • การซิงค์การไล่ระดับสีแบบจุดต่อจุด
    • ไม่จำเป็นต้องมีการสื่อสาร
  3. เหตุใด MoE จึงรักษาการประมวลผลต่อโทเค็นต่ำแม้จะมีพารามิเตอร์รวมจำนวนมาก
    • มันบีบอัดน้ำหนักเหลือ 1 บิต
    • มันข้ามชั้นความสนใจไป
    • ผู้เชี่ยวชาญแบ่งปันน้ำหนักทั้งหมดของพวกเขา
    • เฉพาะผู้เชี่ยวชาญที่ได้รับการคัดเลือกระดับท็อปเท่านั้นที่ทำงานต่อโทเค็น
  4. เกิดปัญหาอะไรขึ้นเนื่องจากการเราต์ขึ้นอยู่กับข้อมูล
    • การระเบิดแบบไล่ระดับ
    • โหลดความไม่สมดุล ซึ่งผู้เชี่ยวชาญบางคนได้รับโทเค็นมากกว่ามาก
    • ไม่สามารถฝึกเราเตอร์ได้
    • โทเค็นจะสูญเสียตำแหน่งที่ฝังไว้
  5. Why are capacity limits and padding used in some MoE implementations?
    • To control expert buffer sizes and make computation shapes more predictable
    • To require every expert to process every token
    • To eliminate all token routing
    • To guarantee that every MoE system drops tokens
  6. ระบบจะซ่อนเวลาแฝงของขั้นตอนทั้งหมดได้อย่างไร
    • โดยรันบนซีพียูแทน
    • โดยเอาขั้นตอนการรวมออก
    • โดยการเพิ่มอัตราการเรียนรู้
    • โดยการสื่อสารทับซ้อนกับการคำนวณของผู้เชี่ยวชาญ
  7. A routed token chooses two MoE experts on different devices. What must expert-parallel execution do?
    • Run every expert in the model regardless of routing
    • Dispatch its representation to the selected experts and combine their outputs
    • Replace both expert networks with an attention head
    • Drop the token solely because it selected two devices
  8. One MoE expert receives far more tokens than others. Why can the layer’s latency increase?
    • The total expert parameter count automatically doubles
    • The router’s outputs become attention positions
    • The overloaded expert becomes a straggler while other devices wait
    • All other experts are removed from memory