ДалееСледующее руководство
Моделирование вознаграждений
Языковой ИИ
РУКОВОДСТВО ПО ОСНОВАМ
Моделирование вознаграждения Брэдли-Терри
Модель Брэдли-Терри — это столетний статистический метод преобразования парных сравнений (А превосходит Б) в числовые оценки.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
В современном искусственном интеллекте он обеспечивает работу моделей вознаграждения, которые изучают человеческие предпочтения на основе вопроса «какой ответ лучше?» этикетки, основа RLHF.
Глубокое погружение
Брэдли-Терри, представленный в 1952 году, предполагает, что каждый предмет имеет скрытый показатель силы, а вероятность того, что предмет A превосходит предмет B, является логистической функцией разницы их оценок. В согласовании с ИИ это аккуратно сопоставляется с данными о предпочтениях: люди, определяющие ярлыки, видят два ответа модели и выбирают лучший, вместо того, чтобы давать трудно поддающиеся калибровке абсолютные оценки. Модель вознаграждения, обычно языковая модель со скалярной выходной головкой, обучается так, чтобы ответ, который предпочитает человек, получал более высокое скалярное вознаграждение. Потеря представляет собой отрицательную логарифмическую вероятность вероятности Брэдли-Терри: максимизируйте логарифмическую сигмоида (награда выбранного минус награда отклоненного). Полученная модель вознаграждения затем оценивает произвольные выходные данные, предоставляя сигнал, который оптимизируются алгоритмами обучения с подкреплением, такими как PPO, чтобы сделать модели более полезными и согласованными.
Реальная реализация
Обучение модели вознаграждения в RLHF, которая ранжирует два ответа чат-бота и передает сигнал «лучше-хуже» для тонкой настройки PPO.
Прямая оптимизация предпочтений — точная настройка модели непосредственно на парах ответов «выбранный» и «отклоненный» с использованием логарифмических сигмовидных потерь Брэдли-Терри.
Рейтинг шахматистов или киберспортсменов с помощью Эло, которое математически является близким родственником модели Брэдли-Терри по результатам игр.
Создание рейтинга рекомендаций по контенту на основе данных о кликах «пользователи предпочитают А, а не Б», а не абсолютных звездных рейтингов.
Будущее моделирования вознаграждений Брэдли-Терри
Брэдли-Терри предполагает наличие единого последовательного ранжирования и транзитивных предпочтений, которые перестают действовать, когда люди не соглашаются или предпочтения цикличны. Исследования движутся к моделям, которые фиксируют распределение предпочтений, многомерные вознаграждения (полезность, безопасность, честность оцениваются отдельно) и такие методы, как обучение Нэша на основе отзывов людей, которые отказываются от предположения об одном балле. DPO и его варианты все чаще включают цель Брэдли-Терри непосредственно в политическую подготовку. Ожидайте более богатых схем сравнения, включая ранжирование более чем двух элементов и предпочтений, взвешенных по доверию, чтобы уменьшить вознаграждение за взлом.
Применение на практике
Почему это важно
- Более четкие решения. Это поможет вам отделить четкие технические заявления от маркетингового языка.
- Стоимость и бюджет. Вы можете задать более эффективные вопросы по реализации, прежде чем тратить деньги или время.
- Команда и рабочий процесс. Команды с общим пониманием принимают более эффективные решения по продуктам, политике и обучению.
Следите за
- Разные команды могут использовать один и тот же термин по-разному, поэтому заранее определите масштаб.
- Тесты могут выглядеть сильными, в то время как реальная производительность неравномерна.
- Игнорирование качества данных и планов оценки часто приводит к нестабильным результатам.
Следующие шаги
- Начните с простого определения желаемого результата.
- Перед тестированием выберите один показатель успеха и одно условие отказа.
- Запустите небольшой пилотный проект с репрезентативными данными, а не отточенный демонстрационный набор.
- Документ, в котором помогает моделирование вознаграждения Брэдли-Терри и где более простые методы лучше.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the Bradley-Terry Reward Modeling quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
Что такое моделирование вознаграждения Брэдли-Терри?
Модель Брэдли-Терри — это столетний статистический метод преобразования парных сравнений (А превосходит Б) в числовые оценки. В современном искусственном интеллекте он обеспечивает работу моделей вознаграждения, которые изучают человеческие предпочтения на основе вопроса «какой ответ лучше?» этикетки, основа RLHF.
Что модель Брэдли-Терри преобразует в числовые оценки?
Брэдли-Терри проводит парные сравнения «А лучше Б» и выводит скрытый показатель силы для каждого элемента, поэтому он так хорошо соответствует маркировке человеческих предпочтений.
В случае Брэдли-Терри вероятность того, что A победит B, является функцией чего?
Модель устанавливает P(A побеждает B) равным логистической (сигмовидной) разнице между показателями скрытой силы A и B.
Почему вознаграждения Брэдли-Терри можно идентифицировать только с точностью до аддитивной константы?
При потере обучения используется только разница между выбранными и отклоненными вознаграждениями, поэтому сдвиг всех оценок на одну и ту же константу оставляет потери неизменными; абсолютный масштаб произволен.
Какова стандартная потеря при одном сравнении предпочтений при моделировании вознаграждения?
Отрицательное логарифмическое правдоподобие Брэдли-Терри сводится к минус логарифм-сигмовидной разницы между выбранным и отклоненным вознаграждением, повышая вознаграждение за выбранный ответ.
Какой метод пропускает отдельную модель вознаграждения, оптимизируя цель Брэдли-Терри непосредственно в политике?
DPO переформулирует цель предпочтения Брэдли-Терри, чтобы ее можно было применять непосредственно к модели политики, устраняя необходимость обучения и запроса отдельной модели вознаграждения.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме