ДаліНаступний посібник
Моделювання винагороди
ШІ мови
ПОСІБНИК З ОСНОВ
Моделювання винагород Бредлі-Террі
Модель Бредлі-Террі — це столітній статистичний метод для перетворення парних порівнянь (A краще B) у числові оцінки.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
In modern AI it powers reward models that learn human preferences from 'which answer is better?' labels, the backbone of RLHF.
Глибоке занурення
Бредлі-Террі, введений у 1952 році, припускає, що кожен предмет має приховану оцінку сили, а ймовірність того, що предмет А перевершить елемент Б, є логістичною функцією різниці їх балів. У вирівнюванні штучного інтелекту це чітко відображається на даних про переваги: люди, які ставлять етикетки, бачать дві моделі відповідей і обирають кращу, замість того, щоб давати абсолютні оцінки, які важко відкалібрувати. Модель винагороди, як правило, мовна модель зі скалярною головкою виведення, навчена таким чином, щоб відповідь, якій віддають перевагу люди, отримувала вищу скалярну винагороду. Втрата — це негативна логарифмічна ймовірність імовірності Бредлі-Террі: максимізуйте логарифм сигмоїди (винагорода обраного мінус винагорода відхиленого). Отримана модель винагороди потім оцінює довільні результати, надаючи сигнал, проти якого оптимізують алгоритми навчання з підкріпленням, такі як PPO, щоб зробити моделі більш корисними та узгодженими.
Реалізація в реальному світі
Навчання моделі винагороди в RLHF, яка ранжує відповіді двох чат-ботів і подає сигнал кращий-гірший для точного налаштування PPO.
Пряма оптимізація переваг точно налаштовує модель безпосередньо на парах відповідей обраний проти відхилених за допомогою логарифмічної сигмоїдної втрати Бредлі-Террі.
Рейтинг гравців у шахи чи кіберспорт за допомогою Elo, який математично є близьким кузеном моделі Бредлі-Террі щодо результатів гри.
Створення рейтингу рекомендацій щодо вмісту на основі даних про кліки «користувачі віддають перевагу А, а не Б», а не абсолютних рейтингів.
Майбутнє винагородного моделювання Бредлі-Террі
Бредлі-Террі припускає єдиний послідовний рейтинг і транзитивні уподобання, які руйнуються, коли люди не погоджуються або уподобання змінюються. Дослідження просуваються до моделей, які фіксують розподіл уподобань, багатовимірні винагороди (корисність, безпека, чесність, які оцінюються окремо), і такі методи, як навчання Неша на основі відгуків людей, які відкидають припущення про єдиний бал. DPO та його варіанти все більше включають мету Бредлі-Террі безпосередньо в політичне навчання. Очікуйте більш багатих схем порівняння, включаючи ранжування більше ніж двох елементів і зважені на впевненість переваги, щоб зменшити хакерство винагороди.
Застосування на практиці
Чому це важливо
- Чіткіші рішення. Це допоможе вам відокремити чіткі технічні заяви від маркетингової мови.
- Вартість і бюджет. Перш ніж витрачати гроші чи час, ви можете задати питання про кращу реалізацію.
- Команда та робочий процес. Команди зі спільним розумінням приймають кращі рішення щодо продуктів, політики та навчання.
Зверніть увагу на
- Різні команди можуть використовувати той самий термін по-різному, тому визначте обсяг завчасно.
- Порівняльні показники можуть виглядати сильними, тоді як продуктивність у реальному світі нерівномірна.
- Ігнорування якості даних і планів оцінки часто призводить до нестабільних результатів.
Наступні кроки
- Почніть із простого визначення необхідного результату.
- Перед тестуванням виберіть одну метрику успіху та одну умову невдачі.
- Запустіть невеликий пілот із репрезентативними даними, а не відшліфованим демонстраційним набором.
- Задокументуйте, де моделювання винагород Бредлі-Террі допомагає, а де простіші методи кращі.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the Bradley-Terry Reward Modeling quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
What is Bradley-Terry Reward Modeling?
Модель Бредлі-Террі — це столітній статистичний метод для перетворення парних порівнянь (A краще B) у числові оцінки. У сучасному штучному інтелекті він керує моделями винагороди, які вивчають людські вподобання з «яка відповідь краща?» етикетки, кістяк RLHF.
Що модель Бредлі-Террі перетворює на числові оцінки?
Бредлі-Террі проводить попарне порівняння «А перевершує В» і робить висновок про приховану оцінку сили для кожного елемента, тому він так добре відповідає маркуванню людських переваг.
У Бредлі-Террі ймовірність того, що А перевершить В, є функцією чого?
Модель встановлює P(A перевершує B), що дорівнює логістиці (сигмоіду) різниці між прихованими показниками сили A і B.
Чому винагороди Бредлі-Террі можна ідентифікувати лише з точністю до адитивної константи?
Втрата при навчанні використовує лише різницю між вибраною та відхиленою винагородою, тому зсув усіх оцінок на ту саму константу залишає втрату незмінною; абсолютний масштаб довільний.
Яка стандартна втрата для одного порівняння переваг у моделюванні винагороди?
Від’ємна логарифмічна правдоподібність Бредлі-Террі зменшується до мінус логарифмічної сигмоіди різниці винагороди обраний-мінус-відхилений, підвищуючи винагороду обраної відповіді.
Який метод пропускає окрему модель винагороди, оптимізуючи ціль Бредлі-Террі безпосередньо в полісі?
DPO переформулює мету переваг Бредлі-Террі, щоб її можна було застосувати безпосередньо до моделі політики, усуваючи потребу в навчанні та запитах автономної моделі винагороди.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми