СледваСледващо ръководство
Моделиране на награди
Езиков AI
РЪКОВОДСТВО по основи
Брадли-Тери Награждаване Моделиране
Моделът на Брадли-Тери е вековен статистически метод за превръщане на сравнения по двойки (A бие B) в числени резултати.
Чуйте това ръководствоAI-разказан · ~2 min
На тази страница2 минути четене
Преглед
В съвременния AI той захранва модели за възнаграждение, които научават човешките предпочитания от „кой отговор е по-добър?“ етикети, гръбнакът на RLHF.
Дълбоко гмуркане
Брадли-Тери, въведен през 1952 г., приема, че всеки елемент има скрит резултат за сила и вероятността елемент А да победи елемент Б е логистичната функция на тяхната разлика в резултата. При подравняването с изкуствен интелект това прецизно се съпоставя с данните за предпочитанията: етикетиращите хора виждат два отговора на модела и избират по-добрия, вместо да дават трудни за калибриране абсолютни оценки. Модел на възнаграждение, обикновено езиковият модел със скаларна изходна глава, се обучава така, че отговорът, предпочитан от хората, да получава по-висока скаларна награда. Загубата е отрицателната логаритмична вероятност на вероятността на Брадли-Тери: максимизиране на логаритмичната сигмоида на (награда на избран минус награда на отхвърлен). Полученият модел на възнаграждение след това отбелязва произволни изходи, предоставяйки сигнала, срещу който оптимизират алгоритмите за обучение за подсилване, като PPO, за да направят моделите по-полезни и подравнени.
Внедряване в реалния свят
Обучение на модела на възнаграждение в RLHF, който класира два отговора на чатбота и подава сигнала по-добър-лош към фина настройка на PPO.
Директна оптимизация на предпочитанията, фина настройка на модел директно върху двойки отговори избрани срещу отхвърлени, използвайки логаритмична сигмоидна загуба на Брадли-Тери.
Класиране на играчи на шах или електронни спортове чрез Elo, което математически е близък братовчед на модела Брадли-Тери за резултатите от играта.
Изграждане на рейтинг за препоръки за съдържание от данни за кликване „предпочитани от потребителите A пред B“ вместо абсолютни оценки със звезди.
Бъдещето на моделите за възнаграждение на Брадли-Тери
Брадли-Тери приема едно последователно класиране и преходни предпочитания, които се разпадат, когато хората не са съгласни или предпочитанията се променят. Изследванията се насочват към модели, които улавят разпределение на предпочитанията, многоизмерни награди (полезност, безопасност, честност, оценени отделно) и методи като обучението на Nash от човешка обратна връзка, които отхвърлят предположението за един резултат. DPO и неговите варианти все повече преместват целта на Брадли-Тери директно в обучението по политиката. Очаквайте по-богати схеми за сравнение, включително класиране на повече от два елемента и претеглени на доверие предпочитания, за да намалите хакването на наградите.
Прилагайки го на практика
Защо има значение
- По-ясни решения. Помага ви да отделите ясните технически твърдения от маркетинговия език.
- Разходи и бюджет. Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време.
- Екип и работен процес. Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение.
Внимавайте за
- Различните екипи могат да използват един и същи термин по различен начин, така че дефинирайте обхвата рано.
- Бенчмарковете могат да изглеждат силни, докато производителността в реалния свят е неравномерна.
- Пренебрегването на качеството на данните и плановете за оценка често създава крехки резултати.
Следващи стъпки
- Започнете с дефиниция на обикновен език за резултата, от който се нуждаете.
- Изберете един показател за успех и едно условие за неуспех преди тестване.
- Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор.
- Документирайте къде помага моделирането на възнаграждението на Брадли-Тери и къде по-простите методи са по-добри.
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the Bradley-Terry Reward Modeling quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
Какво представлява моделирането на възнаграждението на Брадли-Тери?
Моделът на Брадли-Тери е вековен статистически метод за превръщане на сравнения по двойки (A бие B) в числени резултати. В съвременния AI той захранва модели за възнаграждение, които научават човешките предпочитания от „кой отговор е по-добър?“ етикети, гръбнакът на RLHF.
Какво превръща моделът на Брадли-Тери в цифрови резултати?
Брадли-Тери прави сравнения по двойки „А побеждава Б“ и прави извод за скрит резултат за сила за всеки елемент, поради което се вписва толкова добре в етикетирането на човешките предпочитания.
В Брадли-Тери вероятността A да победи B е функция на какво?
Моделът задава P(A бие B) равно на логистичния (сигмоид) на разликата между скритите резултати за сила на A и B.
Защо наградите на Брадли-Тери могат да бъдат идентифицирани само до адитивна константа?
Загубата при обучение използва само разликата между избраните и отхвърлените награди, така че преместването на всички резултати с една и съща константа оставя загубата непроменена; абсолютната скала е произволна.
Каква е стандартната загуба за сравнение на едно предпочитание при моделиране на възнаграждение?
Отрицателната логаритмична вероятност на Брадли-Тери намалява до минус логаритмична сигмоида на разликата в наградата избрано-минус-отхвърлено, което повишава наградата на избрания отговор.
Кой метод пропуска отделен модел на възнаграждение чрез оптимизиране на целта на Брадли-Тери директно в политиката?
DPO преформулира целта на предпочитанията на Брадли-Тери, така че да може да се приложи директно към модела на политиката, премахвайки необходимостта от обучение и запитване към самостоятелен модел на възнаграждение.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема