What is Sliding Window Attention? Definition | AI Understanding

Определение

Схема внимания, при которой каждый токен обращается только к окну соседних токенов фиксированного размера для сокращения вычислительных ресурсов.

Связанные термины

Удаление менее важных весов модели или нейронов для уменьшения размера и объема вычислений.

Биллинг на основе использования

Цены, при которых затраты масштабируются в зависимости от вызовов API, токенов, времени вывода или потребляемых вычислительных ресурсов.

Закон масштабирования

Эмпирическая зависимость, показывающая, как производительность повышается с увеличением размера модели, данных или вычислений.

Разреженная модель

Модель, в которой многие параметры равны нулю или неактивны для сокращения вычислений.

Спекулятивное декодирование

Метод ускорения вывода, при котором небольшая черновая модель предлагает токены, которые параллельно проверяет более крупная модель.

Контекстное окно

Максимальное количество входных токенов, которые языковая модель может обработать одновременно.

Узнайте больше в наших бесплатных руководствах.

Attention Rollout and Head Pruning Sequence Parallelism and Ring Attention Multi-Head Latent Attention RWKV Linear Attention

См. также

ALiBi BPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiece Positional Encoding ANN (Approximate Nearest Neighbor)Multi-Head Attention HNSW

Просмотрите полный глоссарий AI Изучите все бесплатные руководства по искусственному интеллекту