Термин от речника на AI

Какво е Плъзгащ се прозорец Внимание?

Определение

Модел на внимание, при който всеки токен обръща внимание само на прозорец с фиксиран размер от близки токени, за да намали изчисленията.

Разгледайте пълния AI речникРазгледайте всички безплатни ръководства за AI

Свързани термини

ПодрязванеПремахване на по-малко важни тегла на модела или неврони за намаляване на размера и изчисление.Таксуване въз основа на употребатаЦенообразуване, при което разходите се мащабират с извиквания на API, токени, време за извод или изразходвани изчисления.Закон за мащабиранеЕмпирична връзка, показваща как производителността се подобрява с размера на модела, данните или изчисленията.Разреден моделМодел, при който много параметри са нула или неактивни, за да се намали изчислението.Спекулативно декодиранеМетод за ускоряване на извода, при който малък чернови модел предлага токени, които по-голям модел проверява паралелно.Контекстен прозорецМаксималното количество входни токени, които един езиков модел може да обработва наведнъж.

Научете повече в нашите безплатни ръководства

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Вижте също

ALiBiBPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiecePositional EncodingANN (Approximate Nearest Neighbor)Multi-Head AttentionHNSW