AI Ordlista Term

Vad är Uppmärksamhetsmekanism?

Definition

En modellkomponent som dynamiskt fokuserar på relevanta delar av en ingång när en utdata produceras.

Relaterade termer

Encoder
Komponenten i en modell som omvandlar input till latenta representationer.
Multi-Head Attention
En transformatormekanism som kör flera uppmärksamhetsoperationer parallellt för att fånga olika typer av relationer.
ALiBi
En positionell bias-metod som straffar uppmärksamhetspoäng baserat på symboliskt avstånd, vilket hjälper modeller att extrapolera till längre sammanhang.
Klassificering
En uppgift där en modell tilldelar en indata till en eller flera fördefinierade kategorier.
Kontextfönster
Den maximala mängden inmatningstoken en språkmodell kan bearbeta på en gång.
Datadrift
En förändring av verkliga indata över tid som kan försämra modellens prestanda.

Läs mer i våra kostnadsfria guider

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

See also

Artificial Intelligence (AI)Autonomous SystemAPI (Application Programming Interface)BackpropagationAnnotationBaseline ModelAlgorithmic TransparencyBenchmark
Bläddra i hela AI-ordlistanUtforska alla gratis AI-guider