Раздвижное окно Внимание
Внимание скользящего окна ограничивает внимание каждого токена только к окрестностям соседних токенов фиксированного размера, а не ко всей последовательности.
Обзор
This cuts the quadratic cost of standard attention down to linear, making long-context models far cheaper to run.
Глубокое погружение
Стандартное самообслуживание сравнивает каждый токен с любым другим токеном, поэтому последовательность длины N требует сравнений примерно в N квадратах. Внимание скользящего окна исправляет это, предоставляя каждому токену окно размера W (скажем, 4096 токенов) и обращая внимание только на соседей внутри этого окна. Стоимость растет как N, умноженная на W, а не как N в квадрате. Важно отметить, что наложение множества оконных слоев расширяет эффективное рецептивное поле: после L слоев информация может распространяться примерно через L раз W токенов, как растущее рецептивное поле CNN. Mistral 7B популяризировал это с помощью окна в 4096 токенов на 32 уровнях, достигнув теоретического диапазона в 131 тыс. токенов. Модели часто смешивают оконные слои со случайными слоями полного внимания, чтобы сохранить дальние связи.
Техническая информация
В маске внимания запросу в позиции i разрешено видеть только ключи из позиций i минус W плюс 1 до i (причинный случай). Эта разреженная маска означает, что кэшу KV нужны только последние W токенов на слой, что сокращает память во время генерации. Поскольку окно смещается с каждым новым токеном, оно естественным образом сочетается с кэшем изменяющегося буфера, который перезаписывает самые старые записи, а не растет бесконечно.
Стратегическое воздействие
Скорость и масштаб
Языковые рабочие процессы могут развиваться быстрее, не жертвуя при этом согласованностью.
Доступ и охват
Это расширяет доступ к различным языкам и стилям общения.
Более четкие решения
Команды могут тратить больше времени на принятие решений, в то время как автоматизация занимается повторением.
Будущее раздвижных окон Внимание
Гибридные конструкции теперь чередуют несколько глобальных уровней или уровней с полным вниманием среди множества слоев скользящего окна, балансируя эффективность с истинным долгосрочным рассуждением. Джемма 2 и другие чередуют локальные и глобальные блоки. Ожидайте, что внимание к окнам будет сочетаться с моделями в пространстве состояний, приемниками внимания и сжатием KV-кэша, чтобы передовые модели обрабатывали контексты с миллионами токенов без неконтролируемой памяти. Это становится строительным блоком по умолчанию, а не экзотической оптимизацией.
Реальная реализация
Mistral 7B использует скользящее окно на 4096 токенов между слоями для дешевой обработки длинных запросов на потребительских графических процессорах.
Longformer применяет окно внимания и несколько глобальных токенов для классификации и обобщения многостраничных документов.
Gemma 2 чередует локальные слои скользящего окна со слоями глобального внимания, чтобы сбалансировать скорость и дальний вызов.
KV-кеши с подвижным буфером в чат-помощниках хранят только самое последнее окно токенов, ограничивая память во время долгих разговоров.
Риски и ограничения
Галлюцинированные факты могут незаметно войти в отчеты, потоки поддержки или результаты исследований.
Незамедлительная чувствительность может привести к противоречивым результатам по схожим запросам.
Конфиденциальные текстовые данные могут быть раскрыты, если контроль доступа слабый.
Дорожная карта реализации
Перед развертыванием определите выходной формат, тон и стандарты качества.
Наземные ответы с помощью надежных источников, когда точность имеет значение.
Обеспечьте контрольную точку человеческого контроля для получения важных результатов.
Отслеживайте закономерности сбоев и регулярно обновляйте подсказки или рабочие процессы.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sliding Window Attention quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Внимание группового запроса
Часто задаваемые вопросы
What is Sliding Window Attention?
Внимание скользящего окна ограничивает внимание каждого токена только к окрестностям соседних токенов фиксированного размера, а не ко всей последовательности. Это сокращает квадратичную стоимость стандартного внимания до линейной, делая долгоконтекстные модели намного дешевле в эксплуатации.
В чем состоит основное вычислительное преимущество скользящего окна внимания по сравнению со стандартным вниманием к себе?
Ограничивая каждый токен фиксированным окном из W соседей, стоимость возрастает как N, умноженная на W (линейно по N), а не как N-квадрат.
Как в конструкции Mistral 7B информация может распространяться далеко за пределы одного окна из 4096 токенов?
Как и в CNN, каждый уровень передает информацию на одно окно дальше, поэтому L слоев дают эффективный диапазон, примерно равный L, умноженному на W токенов.
Почему внимание к скользящему окну уменьшает память во время генерации текста?
Поскольку токен обрабатывает только свое недавнее окно, старые записи «ключ/значение» могут быть удалены, часто через кэш-буфер с плавающей запятой.
Какой вариант дизайна используют такие модели, как Gemma 2, рядом с раздвижными окнами, чтобы сохранить дальность мышления?
Смешивание периодических глобальных слоев/слоев с полным вниманием с локальными сохраняет истинные дальние связи, которые ослабляются при чистом оконном режиме.
Для причинно-следственного скользящего окна размера W, какие ключи может обрабатывать запрос в позиции i?
В причинном случае запрос видит себя и токены W минус 1 непосредственно перед ним, а не будущие токены.