Скасування прокляття в LLM
Переворотне прокляття є несподіваним режимом невдачі, коли мовна модель, яка вивчає «А є Б», не може надійно відповісти «В є А». Це показує, що LLM зберігають факти як односпрямовані асоціації, а не як симетричні знання.
Глибоке занурення
Задокументоване в статті 2023 року Берглунда та його колег, зворотне прокляття показує, що якщо модель навчається на тему «Мати Тома Круза — Мері Лі Пфайффер», вона часто не відповідає запиту «Хто є сином Мері Лі Пфайффер?» навіть якщо відповідь логічно ідентична. Ефект зберігається для всіх розмірів моделей і навіть після точного налаштування сотень таких фактів. Це не розрив пам’яті: модель бачила інформацію, але лише в одному порядку. Оскільки навчання оптимізує передбачення наступної лексеми за точним порядком слів у даних, статистичний зв’язок від A до B не створює автоматично зв’язку від B до A. Знахідка поставила під сумнів припущення про те, що лише масштабування створює гнучкі, людські міркування над фактами.
Технічне розуміння
Трансформатори навчаються, передбачаючи наступний токен у попередньому контексті, тому оновлення градієнта зміцнюють спрямоване відображення «А, потім В», але залишають «В, потім А» недоторканим, якщо цей порядок також не з’являється під час навчання. Два напрямки живуть у різних вагових шляхах. Дослідники підтвердили це, вимірявши логарифмічні ймовірності: після вивчення прямого факту ймовірність зворотного твердження залишалася близькою до базової лінії, показуючи відсутність неявної логічної інверсії під час навчання.
Стратегічний вплив
Швидкість і масштаб
Мовні робочі процеси можуть рухатися швидше без шкоди для узгодженості.
Доступ і охоплення
Це розширює доступ до різних мов і стилів спілкування.
Чіткіші рішення
Команди можуть витрачати більше часу на оцінювання, поки автоматизація справляється з повторенням.
Майбутнє реверсивного прокляття в LLM
Досліджувані засоби пом’якшення включають двонаправлене розширення даних (додавання перевернутих фраз), цілі навчання, які передбачають токени в обох напрямках, і системи пошуку, які переглядають факти симетрично, а не покладаються на запам’ятовані ваги. Деякі новіші архітектури та експерименти із зворотним попереднім навчанням зменшують розрив. Очікуйте, що прокляття зменшиться, але не зникне, оскільки воно виявляє глибоку невідповідність між навчанням наступного маркера та симетричною структурою відносин у реальному світі.
Реалізація в реальному світі
Чат-бот правильно вказує, хто є батьком знаменитості, але не відповідає імені відомої дитини цього батька.
Модель декламує «дев’ятим президентом був Вільям Генрі Гаррісон», але натрапляє на питання «президентом якого числа був Вільям Генрі Гаррісон».
Помічник кодування, який дізнався зіставлення функції з описом, не може відновити назву функції лише з опису.
Медична система забезпечення якості, навчена «Препарат X лікує стан Y», не враховує препарат X, коли запитують, що лікує стан Y.
Ризики та огорожі
Галюциновані факти можуть непомітно входити у звіти, допоміжні потоки або результати досліджень.
Делікатність підказок може створити суперечливі результати для подібних запитів.
Конфіденційні текстові дані можуть бути розкриті, якщо контроль доступу слабкий.
Дорожня карта впровадження
Визначте вихідний формат, тон і стандарти якості перед розгортанням.
Якщо точність має значення, зв’яжіться з надійними джерелами.
Тримайте контрольну точку перевірки людьми для отримання високих ставок.
Відстежуйте моделі збоїв і регулярно перенавчайте підказки або робочі процеси.
Продовжуйте досліджувати
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Reversal Curse in LLMs quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Наступний посібник
ChatGPT і LLM
Часті запитання
What is Reversal Curse in LLMs?
Переворотне прокляття є несподіваним режимом невдачі, коли мовна модель, яка вивчає «А є Б», не може надійно відповісти «В є А». Це показує, що LLM зберігають факти як односпрямовані асоціації, а не як симетричні знання.
Що описує зворотне прокляття?
Прокляття зворотного зв’язку полягає в тому, що не можна зробити висновок «В є А» з навчання «А є В», незважаючи на те, що вони логічно еквівалентні.
Чому механічно виникає зворотне прокляття?
Оскільки навчання оптимізує передбачення наступного токена в точному спостережуваному порядку, зворотне відображення ніколи не посилюється, якщо воно також не з’являється під час навчання.
Чи надійно виправляє зворотне прокляття збільшення розміру моделі?
Оригінальне дослідження показало, що прокляття поширюється на різні розміри моделей, що вказує на те, що сам по собі масштаб не розв’язує його.
Яке пом'якшення безпосередньо спрямоване на зворотне прокляття?
Двонаправлене розширення даних надає модель як «A є B», так і «B є A», створюючи відсутню зворотну асоціацію.
Як дослідники підтвердили, що модель не засвоїла прямо протилежний факт?
Ймовірність оберненого твердження залишалася близькою до базової лінії після прямого навчання, показуючи відсутність логічної інверсії.