แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบแบบจำลอง Mixtral และ Sparse

ตรวจสอบการกำหนดเส้นทาง Mixtral การเปิดใช้งานผู้เชี่ยวชาญ พารามิเตอร์ทั้งหมดเทียบกับที่ใช้งานอยู่ และหน่วยความจำที่ใช้งานได้จริงและข้อดีข้อเสียของการปรับใช้โมเดลแบบกระจัดกระจาย

เส้นทางแนะนำที่เกี่ยวข้องโมเดล Mixtral และ Sparse
คำถาม 1 ของ 8

ใน Mixtral 8x7B มีผู้เชี่ยวชาญกี่คนที่ประมวลผลโทเค็นแต่ละรายการ

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. ใน Mixtral 8x7B มีผู้เชี่ยวชาญกี่คนที่ประมวลผลโทเค็นแต่ละรายการ
    • ผู้เชี่ยวชาญสองคน
    • ผู้เชี่ยวชาญทั้งแปดคน
    • ผู้เชี่ยวชาญคนหนึ่งนั่นเอง
    • สุ่มตัวเลขทุกครั้ง
  2. องค์ประกอบใดเป็นตัวตัดสินว่าโทเค็นจะถูกส่งไปให้ผู้เชี่ยวชาญคนใด
    • โทเค็นไนเซอร์
    • เราเตอร์ (เครือข่ายเกต)
    • ชั้นความสนใจ
    • ตารางการฝัง
  3. แม้ว่า Mixtral 8x7B จะมีพารามิเตอร์ทั้งหมดประมาณ 47B แต่ประมาณว่ามีกี่พารามิเตอร์ที่ใช้งานอยู่ต่อโทเค็น
    • ประมาณ 47 พันล้าน
    • ประมาณ 7 พันล้าน
    • ประมาณ 13 พันล้าน
    • ประมาณ 70 พันล้าน
  4. What must a Mixtral serving setup account for even when only two experts run per token?
    • Only the active parameters ever need to be stored anywhere
    • All experts must always fit in GPU memory with no offloading option
    • Unused experts can be deleted without changing the checkpoint
    • The full expert weights must be available to the system, with residency or offloading depending on deployment
  5. Mistral AI เผยแพร่ Mixtral ภายใต้ใบอนุญาตใด ซึ่งกระตุ้นให้เกิดการยอมรับแบบเปิด
    • อาปาเช่ 2.0
    • กรรมสิทธิ์และแหล่งปิดเท่านั้น
    • จีพีแอล เวอร์ชัน 3
    • ครีเอทีฟคอมมอนส์ที่ไม่ใช่เชิงพาณิชย์
  6. What training steps does Mistral report for the Mixtral 8x7B Instruct variant?
    • โดยไม่จำเป็นต้องมีข้อมูลการฝึกอบรมใดๆ
    • Supervised fine-tuning and direct preference optimization (DPO)
    • ช่วยลดความจำเป็นในการใช้ GPU โดยสิ้นเชิง
    • รับประกันว่าโมเดลจะไม่ทำผิดพลาด
  7. How many expert networks are available in each Mixtral 8x7B sparse mixture-of-experts layer?
    • ผู้เชี่ยวชาญสองคน
    • Seven experts
    • Eight experts
    • Twelve experts
  8. Which languages does Mistral list for Mixtral 8x7B?
    • Yes; all unused expert weights are deleted
    • Yes; it means the model is dense with 12.9B total parameters
    • No; it means every parameter is active for every token
    • English, French, Italian, German, and Spanish