ДалееСледующее руководство
Интерполяция позиции для расширения контекста
Языковой ИИ
Техническое РУКОВОДСТВО
Позиционная интерполяция для длинного контекста
Позиционная интерполяция (PI) — это простой и эффективный метод, который расширяет контекстное окно Transformer за счет включения новых индексов положения в диапазон, который уже известен модели.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
Instead of extrapolating to unseen positions, it interpolates within trained ones, requiring only brief fine-tuning.
Глубокое погружение
Позиционная интерполяция, представленная исследователями Meta (Чен и др.) в 2023 году, учитывает тот факт, что модели с RoPE катастрофически терпят неудачу при экстраполяции на позиции, выходящие за рамки обучения. Идея противоречива: вместо того, чтобы просить модель обрабатывать большие значения позиции, которых она никогда не видела, PI делит входящие индексы позиции на масштабный коэффициент, так что целевая длина, скажем, 8 КБ, сопоставляется обратно с исходным диапазоном 2 КБ. Поскольку модель была обучена в этом диапазоне, вращения остаются в распределении. Всего после 1000 шагов тонкой настройки модель LLaMA была расширена таким образом и теперь обрабатывает контекст до 32 КБ. В статье показано, что экстраполяция может увеличить показатели внимания до огромных значений, в то время как интерполяция сохраняет их ограниченными и стабильными, поэтому интерполяция работает значительно лучше, чем экстраполяция.
Реальная реализация
Расширение модели LLaMA с 2 КБ контекста для обработки токенов 8–32 000 с помощью примерно 1000 шагов тонкой настройки.
Адаптация существующей модели чата для обобщения длинных документов без переобучения с нуля
Служит концептуальной основой для улучшения масштабирования с поддержкой NTK и YaRN.
Включение длинного контекстного кода или анализа юридических документов для моделей, изначально обученных с использованием коротких окон.
Будущее позиционной интерполяции для длинного контекста
Позиционная интерполяция стала основой для целой волны последующих разработок, включая масштабирование с поддержкой NTK и YaRN, которые интерполируют более избирательно, чтобы сохранить локальные детали. Траектория ведет к методам, которые практически не требуют тонкой настройки, а также к включению обработки длинного контекста в предварительное обучение. PI остается ценным базовым параметром и часто сочетается с новыми схемами с учетом частоты для эффективного достижения более 128 000 контекстных окон.
Применение на практике
Почему это важно
- Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
- Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
- Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.
Следите за
- Оптимизация одного теста может скрыть более широкие недостатки системы.
- Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
- Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.
Следующие шаги
- Определите целевые показатели задержки, качества и стоимости перед внедрением.
- Тестирование при реалистичной нагрузке и условиях данных.
- Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
- Перед масштабированием подготовьте пути отката и реагирования на инциденты.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the Positional Interpolation for Long Context quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
What is Positional Interpolation for Long Context?
Позиционная интерполяция (PI) — это простой и эффективный метод, который расширяет контекстное окно Transformer за счет включения новых индексов положения в диапазон, который уже известен модели. Вместо экстраполяции на невидимые позиции он интерполирует внутри обученных позиций, требуя лишь краткой тонкой настройки.
Какова основная идея позиционной интерполяции?
PI делит индексы позиций на масштабный коэффициент, поэтому более длинные последовательности сопоставляются обратно с обученным диапазоном позиций, сохраняя распределение вращений.
Почему наивная экстраполяция на более длинные позиции терпит неудачу?
В документе PI показано, что невиданные большие позиции могут привести к повышению внимания на несколько порядков, чем к обучению, что дестабилизирует softmax.
Сколько примерно доработок потребовалось в исходной работе PI, чтобы расширить LLaMA до 32 КБ?
В документе сообщается, что около 1000 шагов тонкой настройки было достаточно, чтобы расширить контекст до 32 тысяч токенов.
Если вы расширите контекст в s раз, как PI преобразует позицию m?
PI изменяет масштаб позиции m до м/с, сжимая новый больший диапазон до исходного обученного диапазона.
Как PI повлиял на более поздние методы, такие как YaRN?
PI установил интерполяцию как безопасный подход; Масштабирование с учетом NTK и YaRN усовершенствовали его, более избирательно интерполируя частоты.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме