ДаліНаступний посібник
Дати закінчення знань у LLM
ШІ мови
Мова AI GUIDE
Скасування прокляття в LLM
Переворотне прокляття є несподіваним режимом невдачі, коли мовна модель, яка вивчає «А є Б», не може надійно відповісти «В є А». Це показує, що LLM зберігають факти як односпрямовані асоціації, а не як симетричні знання.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Глибоке занурення
Задокументоване в статті 2023 року Берглунда та його колег, зворотне прокляття показує, що якщо модель навчається на тему «Мати Тома Круза — Мері Лі Пфайффер», вона часто не відповідає запиту «Хто є сином Мері Лі Пфайффер?» навіть якщо відповідь логічно ідентична. Ефект зберігається для всіх розмірів моделей і навіть після точного налаштування сотень таких фактів. Це не розрив пам’яті: модель бачила інформацію, але лише в одному порядку. Оскільки навчання оптимізує передбачення наступної лексеми за точним порядком слів у даних, статистичний зв’язок від A до B не створює автоматично зв’язку від B до A. Знахідка поставила під сумнів припущення про те, що лише масштабування створює гнучкі, людські міркування над фактами.
Реалізація в реальному світі
Чат-бот правильно вказує, хто є батьком знаменитості, але не відповідає імені відомої дитини цього батька.
Модель декламує «дев’ятим президентом був Вільям Генрі Гаррісон», але натрапляє на питання «президентом якого числа був Вільям Генрі Гаррісон».
Помічник кодування, який дізнався зіставлення функції з описом, не може відновити назву функції лише з опису.
Медична система забезпечення якості, навчена «Препарат X лікує стан Y», не враховує препарат X, коли запитують, що лікує стан Y.
Майбутнє реверсивного прокляття в LLM
Досліджувані засоби пом’якшення включають двонаправлене розширення даних (додавання перевернутих фраз), цілі навчання, які передбачають токени в обох напрямках, і системи пошуку, які переглядають факти симетрично, а не покладаються на запам’ятовані ваги. Деякі новіші архітектури та експерименти із зворотним попереднім навчанням зменшують розрив. Очікуйте, що прокляття зменшиться, але не зникне, оскільки воно виявляє глибоку невідповідність між навчанням наступного маркера та симетричною структурою відносин у реальному світі.
Застосування на практиці
Чому це важливо
- Швидкість і масштаб. Мовні робочі процеси можуть рухатися швидше без шкоди для узгодженості.
- Доступ і охоплення. Це розширює доступ до різних мов і стилів спілкування.
- Чіткіші рішення. Команди можуть витрачати більше часу на оцінювання, поки автоматизація справляється з повторенням.
Зверніть увагу на
- Галюциновані факти можуть непомітно входити у звіти, допоміжні потоки або результати досліджень.
- Делікатність підказок може створити суперечливі результати для подібних запитів.
- Конфіденційні текстові дані можуть бути розкриті, якщо контроль доступу слабкий.
Наступні кроки
- Визначте вихідний формат, тон і стандарти якості перед розгортанням.
- Якщо точність має значення, зв’яжіться з надійними джерелами.
- Тримайте контрольну точку перевірки людьми для отримання високих ставок.
- Відстежуйте моделі збоїв і регулярно перенавчайте підказки або робочі процеси.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the Reversal Curse in LLMs quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
Що таке реверсивне прокляття в LLM?
Переворотне прокляття є несподіваним режимом невдачі, коли мовна модель, яка вивчає «А є Б», не може надійно відповісти «В є А». Це показує, що LLM зберігають факти як односпрямовані асоціації, а не як симетричні знання.
Модель вивчила «А є Б», але не може відповісти «В є А». Як це називається?
Стаття називає цю спрямовану помилку реверсивним прокляттям.
Що показує реверсивне прокляття про спрямовані асоціації?
У документі повідомляється, що прямі та зворотні оператори можуть поводитися по-різному.
Чи є реверсивне прокляття просто невдалим, тому що модель не бачила цього факту?
Дослідження перевіряє помилку зворотного запиту після прямого впливу.
Why might next-token training contribute to the effect?
The paper discusses sequence direction as relevant to the failure.
What does failure on a reverse query imply about model knowledge?
The finding challenges assumptions about flexible use of stored facts.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми