What is Mixture of Experts (MoE)? Definition | AI Understanding

تعریف

خصوصی ذیلی نیٹ ورک کے ساتھ ایک فن تعمیر جہاں صرف منتخب ماہرین فی ان پٹ چلاتے ہیں۔

متعلقہ شرائط

درجہ بندی

ایسا کام جہاں ایک ماڈل ایک یا زیادہ پہلے سے طے شدہ زمروں کو ان پٹ تفویض کرتا ہے۔

سلائیڈنگ ونڈو توجہ

ایک توجہ کا نمونہ جہاں ہر ٹوکن حساب کو کم کرنے کے لیے صرف قریبی ٹوکنز کی ایک مقررہ سائز والی ونڈو پر حاضر ہوتا ہے۔

توجہ کا طریقہ کار

ایک ماڈل کا جزو جو آؤٹ پٹ تیار کرتے وقت متحرک طور پر ان پٹ کے متعلقہ حصوں پر فوکس کرتا ہے۔

سوچ کا سلسلہ

ایک استدلال کا انداز جہاں ایک AI ماڈل کسی مسئلے کو درمیانی مراحل میں حل کرتا ہے۔

ایک ملٹی موڈل ماڈل فن تعمیر جو متن اور تصاویر کے درمیان مشترکہ نمائندگی سیکھتا ہے۔

ماڈلز کو تربیت دینے اور چلانے کے لیے درکار پروسیسنگ وسائل، جو اکثر FLOPS یا GPU گھنٹوں میں ماپا جاتا ہے۔

ہماری مفت گائیڈز میں مزید جانیں۔

Expert Parallelism for MoE Serving Mixture-of-Agents Aggregation Mixture of Depths Mixture of LoRA Experts

See also

Memory (Agent Memory)Model Card Machine Learning (ML)Model Drift Loss Function Model Quantization LoRA (Low-Rank Adaptation)Multimodal Model

مکمل AI لغت براؤز کریں۔تمام مفت AI گائیڈز دریافت کریں۔