Термін глосарію AI

Що таке Розсувне вікно Увага?

Визначення

Шаблон уваги, де кожен маркер звертається лише до вікна фіксованого розміру сусідніх маркерів, щоб зменшити обчислення.

Перегляньте повний Глосарій ШІПерегляньте всі безкоштовні посібники зі штучного інтелекту

Споріднені терміни

ОбрізкаВидалення менш важливих ваг моделі або нейронів для зменшення розміру та обчислень.Оплата на основі використанняЦіноутворення, де витрати масштабуються з викликами API, маркерами, часом висновку або споживаними обчисленнями.Закон масштабуванняЕмпіричний зв’язок, який показує, як покращується продуктивність із розміром моделі, даними чи обчисленнями.Розріджена модельМодель, де багато параметрів дорівнюють нулю або неактивні, щоб зменшити обчислення.Спекулятивне декодуванняМетод прискорення логічного висновку, коли маленька чернеткова модель пропонує токени, які більша модель перевіряє паралельно.Контекстне вікноМаксимальна кількість вхідних токенів, які мовна модель може обробити одночасно.

Дізнайтеся більше в наших безкоштовних посібниках

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Дивіться також

ALiBiBPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiecePositional EncodingANN (Approximate Nearest Neighbor)Multi-Head AttentionHNSW