AI Ordlista Term

Vad är Blandning av experter (MoE)?

Definition

En arkitektur med specialiserade subnätverk där endast utvalda experter kör per ingång.

Relaterade termer

Klassificering
En uppgift där en modell tilldelar en indata till en eller flera fördefinierade kategorier.
Skjutfönster Uppmärksamhet
Ett uppmärksamhetsmönster där varje token endast tar hand om ett fönster med fast storlek av närliggande tokens för att minska beräkningen.
Uppmärksamhetsmekanism
En modellkomponent som dynamiskt fokuserar på relevanta delar av en ingång när en utdata produceras.
Chain-of-Thought
En resonemangsstil där en AI-modell delar upp ett problem i mellansteg.
KLIPP
En multimodal modellarkitektur som lär sig delade representationer mellan text och bilder.
Beräkna
Bearbetningsresurserna som krävs för att träna och köra modeller, ofta mätt i FLOPS- eller GPU-timmar.

Läs mer i våra kostnadsfria guider

Expert Parallelism for MoE ServingMixture-of-Agents AggregationMixture of DepthsMixture of LoRA Experts

See also

Memory (Agent Memory)Model CardMachine Learning (ML)Model DriftLoss FunctionModel QuantizationLoRA (Low-Rank Adaptation)Multimodal Model
Bläddra i hela AI-ordlistanUtforska alla gratis AI-guider