AI Ordlista Term

Vad är Blixtuppmärksamhet?

Definition

En optimerad uppmärksamhetsalgoritm som minskar minnesanvändningen och påskyndar transformatorträning och slutledning.

Relaterade termer

Feature Store
Ett hanterat system för att lagra och servera validerade ML-funktioner konsekvent för träning och slutledning.
Backpropagation
Grundträningsalgoritmen som uppdaterar modellvikter genom att sprida prediktionsfel bakåt genom nätverket.
Modellkvantisering
Minska numerisk precision för modellvikter för att minska minnes- och slutledningskostnaden.
Transformator
En neural arkitektur som använder uppmärksamhet för att modellera relationer över sekvenser parallellt.
Träningsförlust
Modellfelvärdet beräknat under träning och optimerat nedåt över tiden.
Multi-Head Attention
En transformatormekanism som kör flera uppmärksamhetsoperationer parallellt för att fånga olika typer av relationer.

Läs mer i våra kostnadsfria guider

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

See also

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop
Bläddra i hela AI-ordlistanUtforska alla gratis AI-guider