ما هو مزيج الخبراء (MoE)؟ التعريف | AI Understanding

التعريف

بنية ذات شبكات فرعية متخصصة حيث يعمل الخبراء المختارون فقط لكل إدخال.

المصطلحات ذات الصلة

مهمة حيث يقوم النموذج بتعيين مدخلات لواحدة أو أكثر من الفئات المحددة مسبقًا.

انزلاق النافذة الاهتمام

نمط انتباه حيث يهتم كل رمز مميز فقط بنافذة ذات حجم ثابت من الرموز المميزة القريبة لتقليل الحوسبة.

آلية الانتباه

أحد مكونات النموذج الذي يركز ديناميكيًا على الأجزاء ذات الصلة من المدخلات عند إنتاج المخرجات.

سلسلة الفكر

أسلوب تفكير حيث يقوم نموذج الذكاء الاصطناعي بتحليل المشكلة إلى خطوات متوسطة.

بنية نموذجية متعددة الوسائط تتعلم التمثيلات المشتركة بين النص والصور.

موارد المعالجة المطلوبة لتدريب النماذج وتشغيلها، والتي يتم قياسها غالبًا بوحدات FLOPS أو ساعات GPU.

تعرف على المزيد في أدلةنا المجانية

Expert Parallelism for MoE Serving Mixture-of-Agents Aggregation Mixture of Depths Mixture of LoRA Experts

انظر أيضا

Memory (Agent Memory)Model Card Machine Learning (ML)Model Drift Loss Function Model Quantization LoRA (Low-Rank Adaptation)Multimodal Model

تصفح قاموس الذكاء الاصطناعي الكامل استكشف جميع أدلة الذكاء الاصطناعي المجانية