ДалееСледующее руководство
Интерполяция позиции для расширения контекста
Языковой ИИ
Техническое РУКОВОДСТВО
YaRN и расширение длины контекста
YaRN (еще одно расширение RoPE) — это эффективный метод расширения полезного контекстного окна модели далеко за пределы того, на чем оно было обучено.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
It cleverly rescales rotary position embeddings so a model trained on, say, 4K tokens can handle 32K or more with minimal fine-tuning.
Глубокое погружение
Большинство современных LLM кодируют позиции токенов с помощью RoPE (Rotary Position Embeddings), который вращает векторы запроса и ключевые векторы на углы, привязанные к положению. Когда вы подаете последовательности, длина которых превышает длину тренировки, эти вращения входят в невидимые диапазоны, и модель выходит из строя. YaRN, представленный в 2023 году Боуэном Пэном и его коллегами, исправляет эту проблему с помощью интерполяции с поддержкой NTK, применяемой к каждой частоте: он оставляет высокочастотные измерения (которые фиксируют локальные, ближние связи) в основном нетронутыми, в то время как интерполирует низкочастотные измерения (которые отслеживают положение на большом расстоянии). YaRN также добавляет регулировку температуры для внимания, чтобы противостоять изменениям энтропии, возникающим в более длительных контекстах. Результатом является высокая производительность в длительном контексте после точной настройки лишь небольшой части данных и шагов, которые требуются наивным подходам.
Реальная реализация
Расширение открытой модели 4K-контекста до 32K или 128K для ответов на длинные вопросы с краткой тонкой настройкой
Обеспечение возможности системам с расширенным поиском поглощать множество объединенных отрывков без усечения.
Поддержка помощников по написанию кода, которым нужен весь большой файл репозитория или несколько файлов в одном запросе.
Адаптация базовой модели для долгих многоходовых разговоров, в которых накапливается большая история чатов.
Будущее YaRN и расширение длины контекста
Расширение контекста теперь является стандартной практикой: открытые модели регулярно поставляют расширенные YaRN варианты, достигающие 128 000 токенов или больше. Исследования движутся к методам, которые расширяют контекст с нулевой или почти нулевой точной настройкой, сочетают масштабирование RoPE с трюками с шаблоном внимания и поддерживают качество во всем окне, а не только на его концах. Ожидайте более тесной интеграции этих методов в предварительную подготовку, если контекст является родным, а не модифицированным.
Применение на практике
Почему это важно
- Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
- Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
- Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.
Следите за
- Оптимизация одного теста может скрыть более широкие недостатки системы.
- Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
- Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.
Следующие шаги
- Определите целевые показатели задержки, качества и стоимости перед внедрением.
- Тестирование при реалистичной нагрузке и условиях данных.
- Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
- Перед масштабированием подготовьте пути отката и реагирования на инциденты.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the YaRN and Context Length Extension quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
What is YaRN and Context Length Extension?
YaRN (еще одно расширение RoPE) — это эффективный метод расширения полезного контекстного окна модели далеко за пределы того, на чем оно было обучено. Он умело масштабирует встраивания вращающихся позиций, поэтому модель, обученная, скажем, на токенах 4 КБ, может обрабатывать 32 КБ или более с минимальной тонкой настройкой.
Какой метод кодирования позиции изменяет YaRN для расширения контекста?
YaRN, чье название означает «Еще одно расширение RoPE», изменяет масштаб встраивания вращающихся позиций, используемых в большинстве современных LLM.
Что происходит не так, когда модель RoPE видит последовательности, длина которых превышает длину ее обучения?
Позиции, выходящие за рамки обучения, создают углы поворота, которые модель никогда не видела, поэтому поведение внимания резко ухудшается.
Как YaRN обрабатывает различные частотные измерения RoPE?
YaRN использует поэтапную рампу NTK, которая интерполирует длинноволновые низкочастотные диммы и оставляет короткодействующие высокочастотные диммы практически нетронутыми.
Помимо изменения масштаба частот, какие дополнительные настройки применяет YaRN?
YaRN добавляет температурное масштабирование к логитам внимания, чтобы противодействовать сдвигам энтропии, которые происходят по мере роста контекста.
В чем ключевое практическое преимущество YaRN перед наивной интерполяцией?
YaRN достигает высокого качества в длинном контексте после тонкой настройки небольшой части данных, которые требуются наивным методам.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме