AI Ordlista Term

Vad är Skjutfönster Uppmärksamhet?

Definition

Ett uppmärksamhetsmönster där varje token endast tar hand om ett fönster med fast storlek av närliggande tokens för att minska beräkningen.

Relaterade termer

Beskärning
Ta bort mindre viktiga modellvikter eller neuroner för att minska storleken och beräkna.
Användningsbaserad fakturering
Prissättning där kostnaderna skalas med API-anrop, tokens, slutledningstid eller förbrukad beräkning.
Skalningslag
Ett empiriskt samband som visar hur prestanda förbättras med modellstorlek, data eller beräkning.
Gles modell
En modell där många parametrar är noll eller inaktiva för att minska beräkningen.
Spekulativ avkodning
En inferensaccelerationsmetod där ett litet utkast till modell föreslår tokens som en större modell verifierar parallellt.
Kontextfönster
Den maximala mängden inmatningstoken en språkmodell kan bearbeta på en gång.

Läs mer i våra kostnadsfria guider

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

See also

ALiBiBPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiecePositional EncodingANN (Approximate Nearest Neighbor)Multi-Head AttentionHNSW
Bläddra i hela AI-ordlistanUtforska alla gratis AI-guider