KI-Glossarbegriff

Was ist Expertenmischung (MoE)?

Definition

Eine Architektur mit spezialisierten Subnetzwerken, in denen nur ausgewählte Experten pro Eingabe arbeiten.

Durchsuchen Sie das vollständige KI-GlossarEntdecken Sie alle kostenlosen KI-Anleitungen

Verwandte Begriffe

KlassifizierungEine Aufgabe, bei der ein Modell eine Eingabe einer oder mehreren vordefinierten Kategorien zuordnet.Schiebefenster AchtungEin Aufmerksamkeitsmuster, bei dem sich jedes Token nur um ein Fenster mit fester Größe benachbarter Token kümmert, um den Rechenaufwand zu reduzieren.AufmerksamkeitsmechanismusEine Modellkomponente, die sich beim Erzeugen einer Ausgabe dynamisch auf relevante Teile einer Eingabe konzentriert.GedankenketteEin Argumentationsstil, bei dem ein KI-Modell ein Problem in Zwischenschritte zerlegt.CLIPEine multimodale Modellarchitektur, die gemeinsame Darstellungen zwischen Text und Bildern lernt.BerechnenDie zum Trainieren und Ausführen von Modellen erforderlichen Verarbeitungsressourcen, oft gemessen in FLOPS oder GPU-Stunden.

Erfahren Sie mehr in unseren kostenlosen Ratgebern

Expert Parallelism for MoE ServingMixture-of-Agents AggregationMixture of DepthsMixture of LoRA Experts

Siehe auch

Memory (Agent Memory)Model CardMachine Learning (ML)Model DriftLoss FunctionModel QuantizationLoRA (Low-Rank Adaptation)Multimodal Model