Интерполяция позиции для расширения контекста
Интерполяция позиции (PI) — это метод, который расширяет используемое контекстное окно языковой модели далеко за пределы длины обучения путем изменения масштаба позиционных индексов вместо их экстраполяции.
Обзор
It lets a model trained on, say, 2K or 4K tokens handle 32K or more with only light fine-tuning.
Глубокое погружение
В большинстве современных LLM используются вращательные позиционные внедрения (RoPE), которые кодируют положение как углы поворота, применяемые к векторам запроса и ключевым векторам. Если вы просто передаете более длинные последовательности, модель видит положения и углы поворота, на которых она никогда не тренировалась, и производительность падает, потому что внимание плохо экстраполируется на частоты, выходящие за пределы диапазона. Интерполяция позиции позволяет избежать экстраполяции: для расширения от длины L до длины L' она делит каждый индекс позиции на коэффициент L'/L, сжимая новый диапазон обратно в обученный интервал. Модель теперь видит только углы распределения, просто расположенные более плотно. Короткая точная настройка (часто от нескольких сотен до тысячи шагов) позволяет адаптироваться к более мелкому интервалу, обеспечивая стабильное поведение в длинном контексте при незначительной доле затрат на предварительное обучение.
Техническая информация
RoPE вращает пары измерений на частотах от мелкой до грубой. PI масштабирует положение m до м/с, где s = L'/L, поэтому углы поворота остаются в пределах обученного диапазона, а не экстраполируются. Варианты с учетом частоты, такие как масштабирование с учетом NTK и YaRN, идут еще дальше: они меньше масштабируют низкие частоты и больше высокие частоты (или интерполируют по длине волны), сохраняя высокочастотные локальные детали и одновременно расширяя низкочастотный охват на большие расстояния.
Стратегическое воздействие
Скорость и масштаб
Языковые рабочие процессы могут развиваться быстрее, не жертвуя при этом согласованностью.
Доступ и охват
Это расширяет доступ к различным языкам и стилям общения.
Более четкие решения
Команды могут тратить больше времени на принятие решений, в то время как автоматизация занимается повторением.
Будущее интерполяции позиций для расширения контекста
Расширение контекста развивается быстро. Такие методы, как масштабирование RoPE с поддержкой NTK, YaRN и динамический/длинный RoPE, теперь расширяют окна до сотен тысяч или даже миллионов токенов, иногда с незначительной тонкой настройкой или без нее. Ожидайте, что эти приемы масштабирования будут сочетаться с эффективным вниманием и сжатием KV-кэша и станут стандартными ручками в конфигурациях моделей. Продолжаются исследования, направленные на поддержание высокой точности во всем окне, чтобы длинные контексты действительно можно было использовать, а не просто поддерживать номинально.
Реальная реализация
Расширение модели LLaMA, обученной в 4 КБ, до контекста 32 КБ для суммирования длинных документов после краткой тонкой настройки.
Загрузка всей базы кода или большого юридического контракта в одно приглашение для ответа на вопросы по нескольким файлам.
Использование масштабирования с поддержкой NTK или YaRN для удлинения контекста с минимальным дополнительным обучением или без него.
Обслуживание длинных историй чатов без усечения путем изменения масштаба позиций RoPE во время вывода.
Риски и ограничения
Галлюцинированные факты могут незаметно войти в отчеты, потоки поддержки или результаты исследований.
Незамедлительная чувствительность может привести к противоречивым результатам по схожим запросам.
Конфиденциальные текстовые данные могут быть раскрыты, если контроль доступа слабый.
Дорожная карта реализации
Перед развертыванием определите выходной формат, тон и стандарты качества.
Наземные ответы с помощью надежных источников, когда точность имеет значение.
Обеспечьте контрольную точку человеческого контроля для получения важных результатов.
Отслеживайте закономерности сбоев и регулярно обновляйте подсказки или рабочие процессы.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Position Interpolation for Context Extension quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
YaRN и расширение длины контекста
Часто задаваемые вопросы
What is Position Interpolation for Context Extension?
Интерполяция позиции (PI) — это метод, который расширяет используемое контекстное окно языковой модели далеко за пределы длины обучения путем изменения масштаба позиционных индексов вместо их экстраполяции. Это позволяет модели, обученной, скажем, на токенах 2K или 4K, обрабатывать 32K или более с небольшой тонкой настройкой.
В чем основная идея позиционной интерполяции?
PI делит индексы положения на коэффициент расширения, отображая более длинную последовательность обратно в диапазон распределения, который уже изучена моделью.
С какой схемой позиционного кодирования больше всего связана интерполяция позиции?
PI был популяризирован для моделей на основе RoPE, изменяющих масштаб углов вращения, чтобы они оставались в пределах обученных частот.
Почему наивная экстраполяция на более длинные контексты обычно терпит неудачу?
Подача более длинных последовательностей подвергает модель воздействию углов, выходящих за пределы допустимого диапазона, на которых она никогда не тренировалась, что приводит к резкому снижению внимания и производительности.
При увеличении длины контекста с L до L' какой коэффициент масштабирования применяется базовым PI к позиции m?
PI отображает m в m, разделенное на коэффициент s = L'/L, сжимая более длинный диапазон в исходный тренированный интервал.
Как масштабирование с поддержкой NTK и YaRN улучшают простую интерполяцию позиции?
Эти методы по-разному масштабируют низкие и высокие частоты, сохраняя мелкие детали локального положения, но при этом охватывая более длинные контексты.