What is Mixture of Experts (MoE)? Definition | AI Understanding

คำนิยาม

สถาปัตยกรรมที่มีเครือข่ายย่อยเฉพาะซึ่งเฉพาะผู้เชี่ยวชาญที่เลือกเท่านั้นที่ทำงานต่ออินพุต

ข้อกำหนดที่เกี่ยวข้อง

การจำแนกประเภท

งานที่แบบจำลองกำหนดอินพุตให้กับหมวดหมู่ที่กำหนดไว้ล่วงหน้าอย่างน้อยหนึ่งหมวดหมู่

หน้าต่างบานเลื่อนความสนใจ

รูปแบบความสนใจที่แต่ละโทเค็นเข้าร่วมเฉพาะหน้าต่างขนาดคงที่ของโทเค็นใกล้เคียงเพื่อลดการประมวลผล

กลไกความสนใจ

ส่วนประกอบโมเดลที่เน้นแบบไดนามิกไปยังส่วนที่เกี่ยวข้องของอินพุตเมื่อสร้างเอาต์พุต

ห่วงโซ่แห่งความคิด

รูปแบบการใช้เหตุผลซึ่งโมเดล AI แบ่งปัญหาออกเป็นขั้นตอนระหว่างกลาง

สถาปัตยกรรมโมเดลต่อเนื่องหลายรูปแบบที่เรียนรู้การเป็นตัวแทนร่วมกันระหว่างข้อความและรูปภาพ

คำนวณ

ทรัพยากรการประมวลผลที่จำเป็นสำหรับการฝึกและรันโมเดล ซึ่งมักวัดเป็นชั่วโมง FLOPS หรือ GPU

เรียนรู้เพิ่มเติมในคำแนะนำฟรีของเรา

Expert Parallelism for MoE Serving Mixture-of-Agents Aggregation Mixture of Depths Mixture of LoRA Experts

ดูเพิ่มเติม

Memory (Agent Memory)Model Card Machine Learning (ML)Model Drift Loss Function Model Quantization LoRA (Low-Rank Adaptation)Multimodal Model

เรียกดูอภิธานศัพท์ AI ฉบับเต็ม สำรวจคำแนะนำ AI ฟรีทั้งหมด