What is Mixture of Experts (MoE)? Definition | AI Understanding

Definitie

Een architectuur met gespecialiseerde subnetwerken waarbij per input alleen geselecteerde experts draaien.

Gerelateerde termen

Een taak waarbij een model een invoer toewijst aan een of meer vooraf gedefinieerde categorieën.

Schuifraam Let op

Een aandachtspatroon waarbij elk token alleen betrekking heeft op een venster met een vaste grootte van nabijgelegen tokens om de rekenkracht te verminderen.

Aandachtsmechanisme

Een modelcomponent die zich dynamisch richt op relevante delen van een input bij het produceren van een output.

Keten-van-gedachte

Een redeneerstijl waarbij een AI-model een probleem opsplitst in tussenstappen.

Een multimodale modelarchitectuur die gedeelde representaties tussen tekst en afbeeldingen leert.

De verwerkingsbronnen die nodig zijn om modellen te trainen en uit te voeren, vaak gemeten in FLOPS- of GPU-uren.

Lees meer in onze gratis handleidingen

Expert Parallelism for MoE Serving Mixture-of-Agents Aggregation Mixture of Depths Mixture of LoRA Experts

See also

Memory (Agent Memory)Model Card Machine Learning (ML)Model Drift Loss Function Model Quantization LoRA (Low-Rank Adaptation)Multimodal Model

Blader door de volledige AI-woordenlijst Ontdek alle gratis AI-gidsen