What is Sliding Window Attention? Definition | AI Understanding

Визначення

Шаблон уваги, де кожен маркер звертається лише до вікна фіксованого розміру сусідніх маркерів, щоб зменшити обчислення.

Споріднені терміни

Видалення менш важливих ваг моделі або нейронів для зменшення розміру та обчислень.

Оплата на основі використання

Ціноутворення, де витрати масштабуються з викликами API, маркерами, часом висновку або споживаними обчисленнями.

Закон масштабування

Емпіричний зв’язок, який показує, як покращується продуктивність із розміром моделі, даними чи обчисленнями.

Розріджена модель

Модель, де багато параметрів дорівнюють нулю або неактивні, щоб зменшити обчислення.

Спекулятивне декодування

Метод прискорення логічного висновку, коли маленька чернеткова модель пропонує токени, які більша модель перевіряє паралельно.

Контекстне вікно

Максимальна кількість вхідних токенів, які мовна модель може обробити одночасно.

Дізнайтеся більше в наших безкоштовних посібниках

Attention Rollout and Head Pruning Sequence Parallelism and Ring Attention Multi-Head Latent Attention RWKV Linear Attention

See also

ALiBi BPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiece Positional Encoding ANN (Approximate Nearest Neighbor)Multi-Head Attention HNSW

Перегляньте повний Глосарій ШІ Перегляньте всі безкоштовні посібники зі штучного інтелекту