What is Sliding Window Attention? Definition | AI Understanding

Definitie

Een aandachtspatroon waarbij elk token alleen betrekking heeft op een venster met een vaste grootte van nabijgelegen tokens om de rekenkracht te verminderen.

Gerelateerde termen

Het verwijderen van minder belangrijke modelgewichten of neuronen om de omvang en rekenkracht te verkleinen.

Op gebruik gebaseerde facturering

Prijzen waarbij de kosten worden geschaald met API-aanroepen, tokens, inferentietijd of verbruikte rekenkracht.

Een empirische relatie die laat zien hoe de prestaties verbeteren met de modelgrootte, gegevens of rekenkracht.

Een model waarbij veel parameters nul zijn of inactief zijn om berekeningen te verminderen.

Speculatieve decodering

Een gevolgtrekkingsversnellingsmethode waarbij een klein conceptmodel tokens voorstelt die een groter model parallel verifieert.

Het maximale aantal invoertokens dat een taalmodel tegelijk kan verwerken.

Lees meer in onze gratis handleidingen

Attention Rollout and Head Pruning Sequence Parallelism and Ring Attention Multi-Head Latent Attention RWKV Linear Attention

See also

ALiBi BPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiece Positional Encoding ANN (Approximate Nearest Neighbor)Multi-Head Attention HNSW

Blader door de volledige AI-woordenlijst Ontdek alle gratis AI-gidsen