แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบแบบจำลอง Mixtral และ Sparse
ตรวจสอบการกำหนดเส้นทาง Mixtral การเปิดใช้งานผู้เชี่ยวชาญ พารามิเตอร์ทั้งหมดเทียบกับที่ใช้งานอยู่ และหน่วยความจำที่ใช้งานได้จริงและข้อดีข้อเสียของการปรับใช้โมเดลแบบกระจัดกระจาย
คำถาม 1 ของ 8
ใน Mixtral 8x7B มีผู้เชี่ยวชาญกี่คนที่ประมวลผลโทเค็นแต่ละรายการ
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- ใน Mixtral 8x7B มีผู้เชี่ยวชาญกี่คนที่ประมวลผลโทเค็นแต่ละรายการ
- ผู้เชี่ยวชาญสองคน
- ผู้เชี่ยวชาญทั้งแปดคน
- ผู้เชี่ยวชาญคนหนึ่งนั่นเอง
- สุ่มตัวเลขทุกครั้ง
- องค์ประกอบใดเป็นตัวตัดสินว่าโทเค็นจะถูกส่งไปให้ผู้เชี่ยวชาญคนใด
- โทเค็นไนเซอร์
- เราเตอร์ (เครือข่ายเกต)
- ชั้นความสนใจ
- ตารางการฝัง
- แม้ว่า Mixtral 8x7B จะมีพารามิเตอร์ทั้งหมดประมาณ 47B แต่ประมาณว่ามีกี่พารามิเตอร์ที่ใช้งานอยู่ต่อโทเค็น
- ประมาณ 47 พันล้าน
- ประมาณ 7 พันล้าน
- ประมาณ 13 พันล้าน
- ประมาณ 70 พันล้าน
- What must a Mixtral serving setup account for even when only two experts run per token?
- Only the active parameters ever need to be stored anywhere
- All experts must always fit in GPU memory with no offloading option
- Unused experts can be deleted without changing the checkpoint
- The full expert weights must be available to the system, with residency or offloading depending on deployment
- Mistral AI เผยแพร่ Mixtral ภายใต้ใบอนุญาตใด ซึ่งกระตุ้นให้เกิดการยอมรับแบบเปิด
- อาปาเช่ 2.0
- กรรมสิทธิ์และแหล่งปิดเท่านั้น
- จีพีแอล เวอร์ชัน 3
- ครีเอทีฟคอมมอนส์ที่ไม่ใช่เชิงพาณิชย์
- What training steps does Mistral report for the Mixtral 8x7B Instruct variant?
- โดยไม่จำเป็นต้องมีข้อมูลการฝึกอบรมใดๆ
- Supervised fine-tuning and direct preference optimization (DPO)
- ช่วยลดความจำเป็นในการใช้ GPU โดยสิ้นเชิง
- รับประกันว่าโมเดลจะไม่ทำผิดพลาด
- How many expert networks are available in each Mixtral 8x7B sparse mixture-of-experts layer?
- ผู้เชี่ยวชาญสองคน
- Seven experts
- Eight experts
- Twelve experts
- Which languages does Mistral list for Mixtral 8x7B?
- Yes; all unused expert weights are deleted
- Yes; it means the model is dense with 12.9B total parameters
- No; it means every parameter is active for every token
- English, French, Italian, German, and Spanish