Масштабування вікна контексту YaRN
YaRN (Yet another RoPE extensioN) — це техніка, яка розширює придатне для використання контекстне вікно трансформатора далеко за межі того, на якому його навчали, з мінімальними тонкими налаштуваннями.
Огляд
It matters because it lets existing models handle much longer documents without retraining from scratch.
Глибоке занурення
Більшість сучасних LLM кодують позиції слів за допомогою Rotary Position Embeddings (RoPE), які добре працюють лише до довжини, яку модель побачила під час навчання. Подаючи довшу послідовність, модель сильно погіршиться. YaRN вирішує це, змінюючи частоти обертання RoPE з урахуванням частоти: високочастотні параметри (які фіксують локальні, найближчі зв’язки) залишаються здебільшого недоторканими, тоді як низькочастотні розміри (які фіксують місцезнаходження на великій відстані) інтерполюються. Він також додає коригування температури до уваги, щоб логіти добре працювали на великих відстанях. Результат, продемонстрований на моделях LLaMA, розширює контекст від 4K до 64K-128K токенів, використовуючи лише близько 0,1% вихідних навчальних даних і кілька сотень кроків тонкого налаштування.
Технічне розуміння
RoPE повертає вектор запиту та ключ на кут, пропорційний позиції та частоті кожного виміру. Наївна лінійна інтерполяція (інтерполяція положення) однаково здавлює всі частоти, завдаючи шкоди локальним деталям. Натомість YaRN застосовує «NTK по частинах»: він інтерполює лише низькочастотні (довгохвильові) розміри, залишає високочастотні в спокої та змінює розміри між ними. Масштабування температури уваги компенсує зсув ентропії, зберігаючи точність на збільшених довжинах.
Стратегічний вплив
Швидкість і масштаб
Мовні робочі процеси можуть рухатися швидше без шкоди для узгодженості.
Доступ і охоплення
Це розширює доступ до різних мов і стилів спілкування.
Чіткіші рішення
Команди можуть витрачати більше часу на оцінювання, поки автоматизація справляється з повторенням.
Майбутнє масштабування вікон контексту YaRN
Розширення з урахуванням частоти в стилі YaRN стало стандартним компонентом для доставки моделей з довгим контекстом; варіанти та наступники продовжують з’являтися, оскільки лабораторії просуваються до вікон із мільйонами токенів. Очікуйте тіснішої інтеграції з ефективним увагою, стисненням KV-кешу та динамічним масштабуванням, яке налаштовується на льоту за запитом. Більш широка тенденція полягає в тому, що відокремлюється «тривалість навчання моделі» від того, «скільки довго вона може корисно читати», роблячи довгий контекст дешевою функцією після навчання, а не дорогим архітектурним зобов’язанням.
Реалізація в реальному світі
Розширення відкритої моделі LLaMA з 4K до 128K токенів, щоб вона могла отримати всю кодову базу або довгий контракт за один прохід
Дозволяє чат-боту зберігати дуже довгі історії розмов без скорочення попередніх ходів
Узагальнення документів довжиною в книгу або багатогодинних стенограм, які перевищують власне вікно базової моделі
Дешева адаптація попередньо навченої моделі для завдань пошуку тривалого контексту за допомогою лише невеликого прогону тонкого налаштування
Ризики та огорожі
Галюциновані факти можуть непомітно входити у звіти, допоміжні потоки або результати досліджень.
Делікатність підказок може створити суперечливі результати для подібних запитів.
Конфіденційні текстові дані можуть бути розкриті, якщо контроль доступу слабкий.
Дорожня карта впровадження
Визначте вихідний формат, тон і стандарти якості перед розгортанням.
Якщо точність має значення, зв’яжіться з надійними джерелами.
Тримайте контрольну точку перевірки людьми для отримання високих ставок.
Відстежуйте моделі збоїв і регулярно перенавчайте підказки або робочі процеси.
Продовжуйте досліджувати
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the YaRN Context Window Scaling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Наступний посібник
Контекстні вікна
Часті запитання
What is YaRN Context Window Scaling?
YaRN (Yet another RoPE extensioN) — це техніка, яка розширює придатне для використання контекстне вікно трансформатора далеко за межі того, на якому його навчали, з мінімальними тонкими налаштуваннями. Це важливо, оскільки дозволяє існуючим моделям обробляти набагато довші документи без перенавчання з нуля.
Яку схему позиційного кодування змінює YaRN, щоб збільшити довжину контексту?
YaRN розшифровується як «Yet another ROPE extensioN» і працює шляхом зміни масштабу частоти обертання, що використовується у вбудованих положеннях Rotary Position.
Як YaRN обробляє високочастотні та низькочастотні розміри RoPE?
Підхід YaRN «NTK за частинами» зберігає високочастотні (локальні) розміри, одночасно інтерполюючи низькочастотні (дальні), щоб уникнути пошкодження локальних деталей.
Яка ключова перевага ефективності YaRN перед навчанням довгоконтекстної моделі з нуля?
YaRN може розширити контекст, використовуючи приблизно 0,1% вихідних навчальних даних і невелику кількість кроків тонкого налаштування, набагато дешевше, ніж повторне навчання.
Яке додаткове коригування застосовує YaRN, окрім зміни масштабу частот, щоб підтримувати стабільну увагу на великій відстані?
YaRN змінює температуру уваги, щоб компенсувати зсув ентропії/логіту, який виникає, коли послідовності стають набагато довшими.
Яка проблема виникає, якщо ви подаєте послідовності моделі RoPE набагато довші, ніж на ній було навчено, без будь-якого масштабування?
RoPE погано узагальнює невидимі довгі позиції, тому якість руйнується, якщо частоти не змінено.