AI Ordliste Term

Hva er Oppmerksomhetsmekanisme?

Definisjon

En modellkomponent som dynamisk fokuserer på relevante deler av en input når den produserer en output.

Relaterte vilkår

Enkoder
Komponenten i en modell som transformerer input til latente representasjoner.
Multi-hode oppmerksomhet
En transformatormekanisme som kjører flere oppmerksomhetsoperasjoner parallelt for å fange opp ulike typer relasjoner.
Alibi
En posisjonell skjevhetsmetode som straffer oppmerksomhetsscore basert på symbolsk avstand, og hjelper modeller med å ekstrapolere til lengre sammenhenger.
Klassifikasjon
En oppgave der en modell tilordner en inngang til én eller flere forhåndsdefinerte kategorier.
Kontekstvindu
Maksimal mengde input-tokens en språkmodell kan behandle på en gang.
Datadrift
Et skifte i virkelige inputdata over tid som kan forringe modellens ytelse.

Lær mer i våre gratis guider

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Se også

Artificial Intelligence (AI)Autonomous SystemAPI (Application Programming Interface)BackpropagationAnnotationBaseline ModelAlgorithmic TransparencyBenchmark
Bla gjennom hele AI-ordlistenUtforsk alle gratis AI-guider