แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

การผสมผสานของแบบทดสอบผู้เชี่ยวชาญ

ฝึกฝนการกำหนดเส้นทาง MoE แบบกระจาย โหลดบาลานซ์ของผู้เชี่ยวชาญ และการแลกเปลี่ยนหน่วยความจำ รวมถึงความแตกต่างระหว่างงานต่อโทเค็นที่ใช้งานอยู่และพารามิเตอร์ที่จัดเก็บทั้งหมด

เส้นทางแนะนำที่เกี่ยวข้องส่วนผสมของผู้เชี่ยวชาญ
คำถาม 1 ของ 8

ในเลเยอร์ Mixture of Experts อะไรเป็นตัวตัดสินว่าผู้เชี่ยวชาญคนใดประมวลผลโทเค็นที่กำหนด

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. ในเลเยอร์ Mixture of Experts อะไรเป็นตัวตัดสินว่าผู้เชี่ยวชาญคนใดประมวลผลโทเค็นที่กำหนด
    • เราเตอร์การเรียนรู้ขนาดเล็ก (เครือข่ายเกต) ที่ให้คะแนนผู้เชี่ยวชาญ
    • ตารางการค้นหาคงที่ที่กำหนดไว้ก่อนการฝึกอบรม
    • ความยาวพร้อมท์ของผู้ใช้
    • สุ่มจับทุกขั้นตอน
  2. เหตุใดโมเดล MoE จึงมีพารามิเตอร์รวมมากกว่าโมเดลหนาแน่นโดยไม่มีการเพิ่มต้นทุนต่อโทเค็นให้ตรงกัน
    • โดยจะบีบอัดพารามิเตอร์ให้เป็นน้ำหนักที่ใช้ร่วมกันรายการเดียว
    • มันข้ามชั้นความสนใจไปเลย
    • มีผู้เชี่ยวชาญเพียงไม่กี่คนเท่านั้น (top-k) ที่เปิดใช้งานสำหรับแต่ละโทเค็น
    • มันดูแลผู้เชี่ยวชาญทุกคนแต่จะเฉลี่ยผลลัพธ์
  3. ที่อยู่การสูญเสียสมดุลโหลด (เสริม) ในระหว่างการฝึกอบรม MoE มีปัญหาอะไร
    • โทเค็นยาวเกินไปสำหรับหน้าต่างบริบท
    • เราเตอร์ใช้งานผู้เชี่ยวชาญมากเกินไปและทำให้ส่วนที่เหลือหิวโหย
    • การไล่ระดับสีหายไปในหัวความสนใจ
    • เหมาะสมกับชุดการตรวจสอบความถูกต้องมากเกินไป
  4. Mixtral 8x7B เปิดใช้งานผู้เชี่ยวชาญ 2 คนจาก 8 คนต่อโทเค็น สิ่งนี้มีความหมายอย่างไรเกี่ยวกับการประมวลผลเทียบกับขนาดของมัน?
    • ใช้การคำนวณของผู้เชี่ยวชาญทั้ง 8 คนในทุกโทเค็น
    • มีพารามิเตอร์รวมน้อยกว่าโมเดลหนาแน่น 7B
    • มันไม่สามารถทำงานบน GPU ได้เลย
    • การคำนวณที่ใช้งานต่อโทเค็นนั้นน้อยกว่าจำนวนพารามิเตอร์ทั้งหมดที่แนะนำมาก
  5. Why can a sparse MoE still have substantial memory or storage requirements?
    • Every token necessarily activates all experts
    • Inactive experts cease to have parameters
    • Inactive expert weights still need accessible storage even when not selected for a token
    • The router removes all attention layers
  6. Two selected MoE expert outputs are 2 and 6, with combination weights 0.25 and 0.75. What is their weighted output?
    • 5
    • 8
    • 2
    • 0.5
  7. Increasing an MoE’s expert count keeps the same top-k and expert size. What can still increase serving cost?
    • The selected expert count must automatically become the total count
    • The model must stop using attention
    • Every inactive weight is automatically deleted
    • Router or communication overhead and the storage required for more experts
  8. A sparse MoE calls a learned feed-forward subnetwork an expert. What does that name establish?
    • It is certified to answer only one academic discipline
    • It is one of the networks selected by routing, without proving a named subject specialty
    • It must be a human-written collection of rules
    • It contains no learned parameters