What is Sliding Window Attention? Definition | AI Understanding

Definiție

Un model de atenție în care fiecare jeton se ocupă doar de o fereastră de dimensiune fixă a jetonelor din apropiere pentru a reduce calculul.

Termeni înrudiți

Eliminarea greutăților modelului sau a neuronilor mai puțin importanți pentru a reduce dimensiunea și a calcula.

Facturare bazată pe utilizare

Prețuri la care costurile cresc cu apeluri API, token-uri, timp de inferență sau calcul consumat.

O relație empirică care arată cum se îmbunătățește performanța cu dimensiunea modelului, datele sau calculul.

Un model în care mulți parametri sunt zero sau inactivi pentru a reduce calculul.

Decodare speculativă

O metodă de accelerare a inferenței în care un model nefinalizat propune simboluri pe care un model mai mare le verifică în paralel.

Fereastra de context

Cantitatea maximă de jetoane de intrare pe care un model de limbă poate procesa simultan.

Aflați mai multe în ghidurile noastre gratuite

Attention Rollout and Head Pruning Sequence Parallelism and Ring Attention Multi-Head Latent Attention RWKV Linear Attention

Vezi și

ALiBi BPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiece Positional Encoding ANN (Approximate Nearest Neighbor)Multi-Head Attention HNSW

Răsfoiți întregul glosar AI Explorați toate ghidurile AI gratuite