What is Mixture of Experts (MoE)? Definition | AI Understanding

Definiție

O arhitectură cu subrețele specializate în care doar experții selectați rulează per intrare.

Termeni înrudiți

O sarcină în care un model atribuie o intrare uneia sau mai multor categorii predefinite.

Atenție fereastră glisantă

Un model de atenție în care fiecare jeton se ocupă doar de o fereastră de dimensiune fixă a jetonelor din apropiere pentru a reduce calculul.

Mecanismul de atenție

O componentă de model care se concentrează dinamic asupra părților relevante ale unei intrări atunci când produce o ieșire.

Lanțul-Gândirii

Un stil de raționament în care un model AI descompune o problemă în pași intermediari.

O arhitectură model multimodală care învață reprezentări partajate între text și imagini.

Resursele de procesare necesare pentru antrenarea și rularea modelelor, adesea măsurate în ore FLOPS sau GPU.

Aflați mai multe în ghidurile noastre gratuite

Expert Parallelism for MoE Serving Mixture-of-Agents Aggregation Mixture of Depths Mixture of LoRA Experts

Vezi și

Memory (Agent Memory)Model Card Machine Learning (ML)Model Drift Loss Function Model Quantization LoRA (Low-Rank Adaptation)Multimodal Model

Răsfoiți întregul glosar AI Explorați toate ghidurile AI gratuite