Навчання в контексті
Навчання в контексті — це дивовижна здатність великих мовних моделей вибирати нове завдання з кількох прикладів, розміщених у підказці, без будь-якого повторного навчання.
Огляд
It is the reason you can 'teach' a model on the fly just by showing it what you want.
Глибоке занурення
Зазвичай навчання нейронної мережі новому завданню означає оновлення її ваг за допомогою навчання. Навчання в контексті відрізняється: ви пишете кілька прикладів безпосередньо в підказці («контекст»), а модель виводить шаблон і застосовує його до нового введення. Всередині моделі нічого не змінюється; приклади лише керують прогнозом наступного токена. Ви почуєте «нульовий постріл» (лише інструкція), «одноразовий» (один приклад) і «кілька пострілів» (кілька прикладів). Ця поведінка була популяризована GPT-3 у 2020 році та виявилася новою здатністю: крихітні моделі не можуть цього зробити, але за межами приблизно 100-мільярдного масштабу параметрів точність підказок кількох кадрів різко зростає. Модель ефективно навчилася розпізнавати та продовжувати шаблони під час попереднього навчання, тому вона може повторно використовувати цей навик під час висновку.
Технічне розуміння
Дослідження щодо інтерпретації простежили більшу частину цієї здатності до «індукційних головок» — ланцюгів уваги, які виникають під час навчання та виконують нечітке зіставлення префіксів: вони сканують, де з’явився подібний маркер, а потім копіюють те, що слідує за ним. Отже, коли у вашому запиті відображається «яблуко -> фрукт, морква -> овоч», модель відповідає структурі та передбачає правильну мітку для наступного елемента. Важливо те, що градієнти не оновлюються під час висновку. Приклади просто змінюють активацію, яка живить розподіл ймовірності наступного токена.
Стратегічний вплив
Швидкість і масштаб
Мовні робочі процеси можуть рухатися швидше без шкоди для узгодженості.
Доступ і охоплення
Це розширює доступ до різних мов і стилів спілкування.
Чіткіші рішення
Команди можуть витрачати більше часу на оцінювання, поки автоматизація справляється з повторенням.
Майбутнє навчання в контексті
Розширення контекстних вікон (зараз сотні тисяч токенів) підштовхує контекстне навчання до багаторазових режимів, де десятки чи сотні прикладів можуть конкурувати з тонким налаштуванням для деяких завдань без жодних витрат на навчання. Очікуйте тіснішої інтеграції з пошуком, щоб релевантні приклади отримувалися автоматично, а також кращої теорії, коли навчання в контексті не вдається або відволікається. Це залишиться швидким і дешевим способом адаптації моделі, який доповнює, а не замінює, тонке налаштування для стабільних завдань великого обсягу.
Реалізація в реальному світі
Надати чат-боту три приклади заявок у службу підтримки та їх категорії, а потім класифікувати нову заявку таким же чином
Показ моделі з двома парами безладного тексту до/після, переформатованого в чистий JSON, щоб він перетворив решту
Вставте пару прикладів опису продукту в тоні вашого бренду, щоб нові відповідали стилю
Демонстрація складної математичної текстової задачі працювала крок за кроком, тому модель розв’язувала подібні проблеми в тому самому форматі міркування
Ризики та огорожі
Галюциновані факти можуть непомітно входити у звіти, допоміжні потоки або результати досліджень.
Делікатність підказок може створити суперечливі результати для подібних запитів.
Конфіденційні текстові дані можуть бути розкриті, якщо контроль доступу слабкий.
Дорожня карта впровадження
Визначте вихідний формат, тон і стандарти якості перед розгортанням.
Якщо точність має значення, зв’яжіться з надійними джерелами.
Тримайте контрольну точку перевірки людьми для отримання високих ставок.
Відстежуйте моделі збоїв і регулярно перенавчайте підказки або робочі процеси.
Продовжуйте досліджувати
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the In-Context Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Наступний посібник
Контекстні вікна
Часті запитання
What is In-Context Learning?
Навчання в контексті — це дивовижна здатність великих мовних моделей вибирати нове завдання з кількох прикладів, розміщених у підказці, без будь-якого повторного навчання. Саме тому ви можете «навчати» модель на льоту, просто показуючи їй те, що ви хочете.
Що принципово змінюється всередині моделі під час навчання в контексті?
Навчання в контексті відбувається виключно на основі висновків. Приклади в підказці формують активації моделі та передбачення наступного маркера, але ваги не оновлюються.
Чому навчання в контексті описується як «вихідна» здатність?
Здібність слабка або відсутня в малих моделях і різко зростає, коли моделі досягають дуже великого масштабу, тому її називають емерджентною.
Який внутрішній механізм найбільш пов’язаний із навчанням у контексті в трансформаторах?
Робота з інтерпретації визначила індукційні головки — схеми уваги, які знаходять, де з’явився подібний токен, і копіюють те, що було далі — як основний драйвер навчання в контексті.