AI Ordliste Term

Hva er Flash oppmerksomhet?

Definisjon

En optimalisert oppmerksomhetsalgoritme som reduserer minnebruk og øker hastigheten på transformatortrening og slutninger.

Relaterte vilkår

Feature Store
Et administrert system for lagring og servering av validerte ML-funksjoner konsekvent for trening og slutninger.
Tilbakepropagering
Kjernetreningsalgoritmen som oppdaterer modellvekter ved å spre prediksjonsfeil bakover gjennom nettverket.
Modellkvantisering
Reduserer numerisk presisjon av modellvekter for å redusere minne- og slutningskostnadene.
Transformator
En nevral arkitektur som bruker oppmerksomhet til å modellere forhold på tvers av sekvenser parallelt.
Treningstap
Modellfeilverdien beregnet under trening og optimalisert nedover over tid.
Multi-hode oppmerksomhet
En transformatormekanisme som kjører flere oppmerksomhetsoperasjoner parallelt for å fange opp ulike typer relasjoner.

Lær mer i våre gratis guider

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Se også

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop
Bla gjennom hele AI-ordlistenUtforsk alle gratis AI-guider