What is Sliding Window Attention? Definition | AI Understanding

Definisjon

Et oppmerksomhetsmønster der hvert token kun passer på et vindu med fast størrelse av tokens i nærheten for å redusere beregningen.

Relaterte vilkår

Fjerning av mindre viktige modellvekter eller nevroner for å redusere størrelse og beregne.

Bruksbasert fakturering

Prissetting der kostnadene skaleres med API-kall, tokens, slutningstid eller forbrukt databehandling.

Et empirisk forhold som viser hvordan ytelsen forbedres med modellstørrelse, data eller beregning.

En modell hvor mange parametere er null eller inaktive for å redusere beregningen.

Spekulativ dekoding

En inferensakselerasjonsmetode der et lite utkast til modell foreslår tokens som en større modell verifiserer parallelt.

Maksimal mengde input-tokens en språkmodell kan behandle på en gang.

Lær mer i våre gratis guider

Attention Rollout and Head Pruning Sequence Parallelism and Ring Attention Multi-Head Latent Attention RWKV Linear Attention

Se også

ALiBi BPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiece Positional Encoding ANN (Approximate Nearest Neighbor)Multi-Head Attention HNSW

Bla gjennom hele AI-ordlisten Utforsk alle gratis AI-guider