What is Sliding Window Attention? Definition | AI Understanding

Определение

Модел на внимание, при който всеки токен обръща внимание само на прозорец с фиксиран размер от близки токени, за да намали изчисленията.

Свързани термини

Подрязване

Премахване на по-малко важни тегла на модела или неврони за намаляване на размера и изчисление.

Таксуване въз основа на употребата

Ценообразуване, при което разходите се мащабират с извиквания на API, токени, време за извод или изразходвани изчисления.

Закон за мащабиране

Емпирична връзка, показваща как производителността се подобрява с размера на модела, данните или изчисленията.

Разреден модел

Модел, при който много параметри са нула или неактивни, за да се намали изчислението.

Спекулативно декодиране

Метод за ускоряване на извода, при който малък чернови модел предлага токени, които по-голям модел проверява паралелно.

Контекстен прозорец

Максималното количество входни токени, които един езиков модел може да обработва наведнъж.

Научете повече в нашите безплатни ръководства

Attention Rollout and Head Pruning Sequence Parallelism and Ring Attention Multi-Head Latent Attention RWKV Linear Attention

See also

ALiBi BPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiece Positional Encoding ANN (Approximate Nearest Neighbor)Multi-Head Attention HNSW

Разгледайте пълния AI речник Разгледайте всички безплатни ръководства за AI