ДалееСледующее руководство
Даты прекращения знаний в программах LLM
Языковой ИИ
РУКОВОДСТВО ПО ЯЗЫКУ ИИ
Проклятие отмены в LLM
Проклятие обращения — это неожиданный вариант отказа, когда языковая модель, изучающая «А есть Б», не может надежно ответить «Б есть А». Это показывает, что LLM хранит факты как однонаправленные ассоциации, а не как симметричные знания.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Глубокое погружение
Обратное проклятие, задокументированное в статье Берглунда и его коллег в 2023 году, показывает, что если модель обучается на фразе «мать Тома Круза — Мэри Ли Пфайффер», она часто терпит неудачу, когда ее спрашивают: «Кто такой сын Мэри Ли Пфайффер?» хотя ответ логически идентичен. Эффект сохраняется в зависимости от размера модели и даже после точной настройки сотен таких фактов. Это не провал в памяти: модель видела информацию, но только в одном порядке. Поскольку обучение оптимизирует прогнозирование следующего токена по точному порядку слов в данных, статистическая связь от A к B не создает автоматически ссылку от B обратно к A. Обнаружение оспариваемых предположений, которые сами по себе масштабируются, приводит к гибким, человеческим рассуждениям о фактах.
Реальная реализация
Чат-бот правильно называет родителя знаменитости, но терпит неудачу, когда его просят назвать знаменитого ребенка этого родителя.
Модель повторяет: «Девятым президентом был Уильям Генри Харрисон», но спотыкается о том, «президентом какого числа был Уильям Генри Харрисон».
Помощник по программированию, который изучил сопоставление функции с описанием, не может восстановить имя функции только по описанию.
Медицинская система контроля качества, обученная принципу «Лекарство X лечит состояние Y», не может перечислить препарат X, когда его спрашивают, что лечит состояние Y.
Будущее проклятия отмены в LLM
Изучаемые меры по смягчению последствий включают двунаправленное увеличение данных (добавление перевернутых формулировок), цели обучения, которые прогнозируют токены в обоих направлениях, и системы поиска, которые ищут факты симметрично, а не полагаются на заученные веса. Некоторые новые архитектуры и эксперименты по обратному предварительному обучению сокращают разрыв. Ожидайте, что проклятие уменьшится, но не исчезнет, поскольку оно обнажает глубокое несоответствие между обучением следующего токена и симметричной структурой отношений в реальном мире.
Применение на практике
Почему это важно
- Скорость и масштаб. Языковые рабочие процессы могут развиваться быстрее, не жертвуя при этом согласованностью.
- Доступ и охват. Это расширяет доступ к различным языкам и стилям общения.
- Более четкие решения. Команды могут тратить больше времени на принятие решений, в то время как автоматизация занимается повторением.
Следите за
- Галлюцинированные факты могут незаметно войти в отчеты, потоки поддержки или результаты исследований.
- Незамедлительная чувствительность может привести к противоречивым результатам по схожим запросам.
- Конфиденциальные текстовые данные могут быть раскрыты, если контроль доступа слабый.
Следующие шаги
- Перед развертыванием определите выходной формат, тон и стандарты качества.
- Наземные ответы с помощью надежных источников, когда точность имеет значение.
- Обеспечьте контрольную точку человеческого контроля для получения важных результатов.
- Отслеживайте закономерности сбоев и регулярно обновляйте подсказки или рабочие процессы.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the Reversal Curse in LLMs quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
What is Reversal Curse in LLMs?
Проклятие обращения — это неожиданный вариант отказа, когда языковая модель, изучающая «А есть Б», не может надежно ответить «Б есть А». Это показывает, что LLM хранит факты как однонаправленные ассоциации, а не как симметричные знания.
A model learned “A is B” but fails to answer “B is A.” What is this called?
The paper names this directional failure the reversal curse.
What does the reversal curse show about directional associations?
The paper reports that forward and reverse statements can behave differently.
Is the reversal curse simply a failure because the model never saw the fact?
The research tests failure on a reverse query after forward exposure.
Why might next-token training contribute to the effect?
The paper discusses sequence direction as relevant to the failure.
What does failure on a reverse query imply about model knowledge?
The finding challenges assumptions about flexible use of stored facts.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме