ДалееСледующее руководство
Прямая оптимизация предпочтений
Языковой ИИ
РУКОВОДСТВО ПО ЯЗЫКУ ИИ
Оптимизация Канемана-Тверски
Оптимизация Канемана-Тверски (KTO) — это метод выравнивания, который учится на простых ярлыках «палец вверх» или «палец вниз», а не на парных сравнениях.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
Это важно, потому что двоичную обратную связь собрать гораздо проще и дешевле, чем ранжированные пары, которых требует большинство методов.
Глубокое погружение
KTO, представленный Этаяраджем и его коллегами из Стэнфорда и компании Contextual AI в 2024 году, заимствует теорию перспектив, нобелевскую работу Дэниела Канемана и Амоса Тверски о том, как люди оценивают приобретения и потери. Стандартным методам, таким как DPO, нужны пары предпочтений: выбранный и отклоненный ответ на один и тот же запрос. Вместо этого KTO работает с непарными данными, где каждый отдельный результат просто помечается как желательный или нежелательный. Он создает потери с учетом человеческого фактора, которые рассматривают улучшение модели на выборке как выигрыш или потерю по сравнению с контрольной точкой, применяя неприятие потерь, поэтому нежелательные результаты наказываются более резко, чем желательные вознаграждаются. Это позволяет командам использовать множество сигналов «палец вверх/вниз», уже собранных в рабочих приложениях.
Реальная реализация
Использование щелчков «палец вверх» или «палец вниз» развернутого чат-бота для его точной настройки без необходимости создания пар предпочтений.
Согласование модели, когда у вас есть куча «хороших» и «плохих» ответов, но нет совпадающих сравнений для одних и тех же подсказок.
Команда разработчиков продукта повторно использует флаги модерации (нежелательно) и сохраненные ответы (желательно) при обучении КТО.
Обработка несбалансированной обратной связи, когда антипатии встречаются реже, чем лайки, путем настройки неприятия потерь и весов классов KTO.
Будущее оптимизации Канемана-Тверски
KTO хорошо подходит для реальных продуктов, где пользователи, естественно, нажимают «Нравится» или «Не нравится», но редко ранжируют два ответа рядом. Ожидайте более широкого внедрения циклов непрерывного совершенствования, которые перерабатывают обратную связь с производством, а также проводят исследования по настройке соотношения желательных и нежелательных данных и веса неприятия потерь. Объединение концепции поведенческой экономики KTO с другими целями и применение ее к мультимодальной обратной связи — активное направление, поскольку команды ищут согласование с беспорядочными сигналами реального мира.
Применение на практике
Почему это важно
- Скорость и масштаб. Языковые рабочие процессы могут развиваться быстрее, не жертвуя при этом согласованностью.
- Доступ и охват. Это расширяет доступ к различным языкам и стилям общения.
- Более четкие решения. Команды могут тратить больше времени на принятие решений, в то время как автоматизация занимается повторением.
Следите за
- Галлюцинированные факты могут незаметно войти в отчеты, потоки поддержки или результаты исследований.
- Незамедлительная чувствительность может привести к противоречивым результатам по схожим запросам.
- Конфиденциальные текстовые данные могут быть раскрыты, если контроль доступа слабый.
Следующие шаги
- Перед развертыванием определите выходной формат, тон и стандарты качества.
- Наземные ответы с помощью надежных источников, когда точность имеет значение.
- Обеспечьте контрольную точку человеческого контроля для получения важных результатов.
- Отслеживайте закономерности сбоев и регулярно обновляйте подсказки или рабочие процессы.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the Kahneman-Tversky Optimization quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
Что такое оптимизация Канемана-Тверски?
Оптимизация Канемана-Тверски (KTO) — это метод выравнивания, который учится на простых ярлыках «палец вверх» или «палец вниз», а не на парных сравнениях. Это важно, потому что двоичную обратную связь собрать гораздо проще и дешевле, чем ранжированные пары, которых требует большинство методов.
Какие данные требует КТО?
KTO учится на простых ярлыках «палец вверх/вниз» для каждого примера, а не на совпадающих парах предпочтений.
Какая работа вдохновила KTO?
KTO заимствует идею теории перспектив об асимметричной оценке прибылей и убытков, отсюда и название.
Что такое «неприятие потерь», используемое в КТО?
Теория перспектив утверждает, что потери преобладают над прибылью, поэтому KTO уделяет больше внимания отрицательным отклонениям.
What kind of feedback can KTO learn from without requiring paired comparisons?
KTO’s paper studies alignment from binary desirable/undesirable feedback on individual outputs; it still needs appropriate data and setup.
В КТО отклонения измеряются относительно чего?
Функция ценности KTO определяет, находится ли ответ выше или ниже эталонного базового уровня, рассматривая это как прибыль или потерю.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме