AI Ordliste Term

Hva er Blanding av eksperter (MoE)?

Definisjon

En arkitektur med spesialiserte undernettverk der kun utvalgte eksperter kjører per inngang.

Relaterte vilkår

Klassifikasjon
En oppgave der en modell tilordner en inngang til én eller flere forhåndsdefinerte kategorier.
Skyvevindu oppmerksomhet
Et oppmerksomhetsmønster der hvert token kun passer på et vindu med fast størrelse av tokens i nærheten for å redusere beregningen.
Oppmerksomhetsmekanisme
En modellkomponent som dynamisk fokuserer på relevante deler av en input når den produserer en output.
Tankekjede
En resonneringsstil der en AI-modell dekomponerer et problem i mellomtrinn.
KLIPP
En multimodal modellarkitektur som lærer delte representasjoner mellom tekst og bilder.
Beregn
Behandlingsressursene som kreves for å trene og kjøre modeller, ofte målt i FLOPS- eller GPU-timer.

Lær mer i våre gratis guider

Expert Parallelism for MoE ServingMixture-of-Agents AggregationMixture of DepthsMixture of LoRA Experts

Se også

Memory (Agent Memory)Model CardMachine Learning (ML)Model DriftLoss FunctionModel QuantizationLoRA (Low-Rank Adaptation)Multimodal Model
Bla gjennom hele AI-ordlistenUtforsk alle gratis AI-guider