แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
การผสมผสานของแบบทดสอบผู้เชี่ยวชาญ
ฝึกฝนการกำหนดเส้นทาง MoE แบบกระจาย โหลดบาลานซ์ของผู้เชี่ยวชาญ และการแลกเปลี่ยนหน่วยความจำ รวมถึงความแตกต่างระหว่างงานต่อโทเค็นที่ใช้งานอยู่และพารามิเตอร์ที่จัดเก็บทั้งหมด
คำถาม 1 ของ 8
ในเลเยอร์ Mixture of Experts อะไรเป็นตัวตัดสินว่าผู้เชี่ยวชาญคนใดประมวลผลโทเค็นที่กำหนด
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- ในเลเยอร์ Mixture of Experts อะไรเป็นตัวตัดสินว่าผู้เชี่ยวชาญคนใดประมวลผลโทเค็นที่กำหนด
- เราเตอร์การเรียนรู้ขนาดเล็ก (เครือข่ายเกต) ที่ให้คะแนนผู้เชี่ยวชาญ
- ตารางการค้นหาคงที่ที่กำหนดไว้ก่อนการฝึกอบรม
- ความยาวพร้อมท์ของผู้ใช้
- สุ่มจับทุกขั้นตอน
- เหตุใดโมเดล MoE จึงมีพารามิเตอร์รวมมากกว่าโมเดลหนาแน่นโดยไม่มีการเพิ่มต้นทุนต่อโทเค็นให้ตรงกัน
- โดยจะบีบอัดพารามิเตอร์ให้เป็นน้ำหนักที่ใช้ร่วมกันรายการเดียว
- มันข้ามชั้นความสนใจไปเลย
- มีผู้เชี่ยวชาญเพียงไม่กี่คนเท่านั้น (top-k) ที่เปิดใช้งานสำหรับแต่ละโทเค็น
- มันดูแลผู้เชี่ยวชาญทุกคนแต่จะเฉลี่ยผลลัพธ์
- ที่อยู่การสูญเสียสมดุลโหลด (เสริม) ในระหว่างการฝึกอบรม MoE มีปัญหาอะไร
- โทเค็นยาวเกินไปสำหรับหน้าต่างบริบท
- เราเตอร์ใช้งานผู้เชี่ยวชาญมากเกินไปและทำให้ส่วนที่เหลือหิวโหย
- การไล่ระดับสีหายไปในหัวความสนใจ
- เหมาะสมกับชุดการตรวจสอบความถูกต้องมากเกินไป
- Mixtral 8x7B เปิดใช้งานผู้เชี่ยวชาญ 2 คนจาก 8 คนต่อโทเค็น สิ่งนี้มีความหมายอย่างไรเกี่ยวกับการประมวลผลเทียบกับขนาดของมัน?
- ใช้การคำนวณของผู้เชี่ยวชาญทั้ง 8 คนในทุกโทเค็น
- มีพารามิเตอร์รวมน้อยกว่าโมเดลหนาแน่น 7B
- มันไม่สามารถทำงานบน GPU ได้เลย
- การคำนวณที่ใช้งานต่อโทเค็นนั้นน้อยกว่าจำนวนพารามิเตอร์ทั้งหมดที่แนะนำมาก
- Why can a sparse MoE still have substantial memory or storage requirements?
- Every token necessarily activates all experts
- Inactive experts cease to have parameters
- Inactive expert weights still need accessible storage even when not selected for a token
- The router removes all attention layers
- Two selected MoE expert outputs are 2 and 6, with combination weights 0.25 and 0.75. What is their weighted output?
- 5
- 8
- 2
- 0.5
- Increasing an MoE’s expert count keeps the same top-k and expert size. What can still increase serving cost?
- The selected expert count must automatically become the total count
- The model must stop using attention
- Every inactive weight is automatically deleted
- Router or communication overhead and the storage required for more experts
- A sparse MoE calls a learned feed-forward subnetwork an expert. What does that name establish?
- It is certified to answer only one academic discipline
- It is one of the networks selected by routing, without proving a named subject specialty
- It must be a human-written collection of rules
- It contains no learned parameters