What is Mixture of Experts (MoE)? Definition | AI Understanding

Definition

Eine Architektur mit spezialisierten Subnetzwerken, in denen nur ausgewählte Experten pro Eingabe arbeiten.

Verwandte Begriffe

Klassifizierung

Eine Aufgabe, bei der ein Modell eine Eingabe einer oder mehreren vordefinierten Kategorien zuordnet.

Schiebefenster Achtung

Ein Aufmerksamkeitsmuster, bei dem sich jedes Token nur um ein Fenster mit fester Größe benachbarter Token kümmert, um den Rechenaufwand zu reduzieren.

Aufmerksamkeitsmechanismus

Eine Modellkomponente, die sich beim Erzeugen einer Ausgabe dynamisch auf relevante Teile einer Eingabe konzentriert.

Ein Argumentationsstil, bei dem ein KI-Modell ein Problem in Zwischenschritte zerlegt.

Eine multimodale Modellarchitektur, die gemeinsame Darstellungen zwischen Text und Bildern lernt.

Die zum Trainieren und Ausführen von Modellen erforderlichen Verarbeitungsressourcen, oft gemessen in FLOPS oder GPU-Stunden.

Erfahren Sie mehr in unseren kostenlosen Ratgebern

Expert Parallelism for MoE Serving Mixture-of-Agents Aggregation Mixture of Depths Mixture of LoRA Experts

See also

Memory (Agent Memory)Model Card Machine Learning (ML)Model Drift Loss Function Model Quantization LoRA (Low-Rank Adaptation)Multimodal Model

Durchsuchen Sie das vollständige KI-Glossar Entdecken Sie alle kostenlosen KI-Anleitungen