Mai departeUrmătorul ghid
Modelarea recompenselor
AI limbaj
GHID de fundamente
Bradley-Terry Reward Modeling
Modelul Bradley-Terry este o metodă statistică veche de un secol pentru a transforma comparațiile pe perechi (A bate B) în scoruri numerice.
Ascultă acest ghidNarativ AI · ~2 min
Pe această pagină2 minute de lectură
Prezentare generală
În inteligența artificială modernă, acesta oferă modele de recompensă care învață preferințele umane din „care răspuns este mai bun?” etichete, coloana vertebrală a RLHF.
Scufundare în profunzime
Bradley-Terry, introdus în 1952, presupune că fiecare articol are un scor de putere ascuns, iar probabilitatea ca elementul A să depășească elementul B este funcția logistică a diferenței lor de scor. În alinierea AI, aceasta se realizează perfect pe datele de preferințe: etichetatorii umani văd două răspunsuri model și îl aleg pe cel mai bun, în loc să ofere evaluări absolute greu de calibrat. Un model de recompensă, de obicei modelul de limbaj cu un cap de ieșire scalar, este antrenat astfel încât răspunsul pe care oamenii l-au preferat să primească o recompensă scalară mai mare. Pierderea este log-probabilitatea negativă a probabilității Bradley-Terry: maximizați log-sigmoid de (recompensa pentru ales minus recompensa pentru respins). Modelul de recompensă rezultat înregistrează apoi rezultate arbitrare, oferind semnalul cu care algoritmii de învățare de întărire precum PPO se optimizează pentru a face modelele mai utile și mai aliniate.
Implementare în lumea reală
Antrenarea modelului de recompensă în RLHF care clasifică două răspunsuri chatbot și transmite semnalul mai bun-mai rău pentru reglarea PPO.
Optimizarea directă a preferințelor ajustarea fină a unui model direct pe perechile de răspuns alese-versus-respinse folosind pierderea log-sigmoid Bradley-Terry.
Clasificarea jucătorilor de șah sau esports prin Elo, care este matematic un văr apropiat al modelului Bradley-Terry în ceea ce privește rezultatele jocului.
Crearea unui clasament de recomandări de conținut din datele despre clicuri „utilizatorii au preferat A față de B”, mai degrabă decât evaluările absolute cu stele.
Viitorul modelării recompenselor Bradley-Terry
Bradley-Terry presupune un singur clasament consecvent și preferințe tranzitive, care se defectează atunci când oamenii nu sunt de acord sau ciclează preferințele. Cercetarea se îndreaptă către modele care captează distribuțiile preferințelor, recompense multidimensionale (utilitate, siguranță, onestitate punctate separat) și metode precum Nash de învățare din feedbackul uman, care scad ipoteza unui punctaj unic. DPO și variantele sale integrează din ce în ce mai mult obiectivul Bradley-Terry direct în formarea politicilor. Așteptați-vă la scheme de comparație mai bogate, inclusiv clasamente pentru mai mult de două articole și preferințe ponderate în funcție de încredere, pentru a reduce piratarea recompenselor.
Punând-o în practică
De ce contează
- Decizii mai clare. Vă ajută să separați afirmațiile tehnice clare de limbajul de marketing.
- Cost și buget. Puteți pune întrebări de implementare mai bune înainte de a cheltui bani sau timp.
- Echipa și fluxul de lucru. Echipele cu înțelegere comună iau decizii mai bune despre produse, politici și învățare.
Atenție la
- Echipe diferite pot folosi același termen în mod diferit, așa că definiți domeniul de aplicare din timp.
- Benchmark-urile pot părea puternice, în timp ce performanța în lumea reală este neuniformă.
- Ignorarea calității datelor și a planurilor de evaluare generează adesea rezultate fragile.
Următorii pași
- Începeți cu o definiție simplă a rezultatului de care aveți nevoie.
- Alegeți o măsură de succes și o condiție de eșec înainte de testare.
- Rulați un pilot mic cu date reprezentative, nu un set demonstrativ bine definit.
- Document în care Bradley-Terry Reward Modeling ajută și unde metodele mai simple sunt mai bune.
Continuați să explorați
Buletin gratuit
Primește briefingul zilnic AI
Trei povești AI verificate în fiecare dimineață de zi lucrătoare, scrise în engleză simplă. Gratuit pentru totdeauna, fără reclame.
Un e-mail în fiecare zi lucrătoare. Dezabonare cu un singur clic. Nu vindem niciodată și nu împărtășim adresa ta.
Testează-te
Take the Bradley-Terry Reward Modeling quiz
Feedback instantaneu la fiecare răspuns și un certificat partajabil cu un ID verificabil după ce parcurgi un curs.
Susține educația AI gratuită. AI Understanding este o organizație nonprofit 501(c)(3) — fără reclame, fără barieră de plată, pentru totdeauna. Fă o donație
Întrebări frecvente
Ce este Bradley-Terry Reward Modeling?
Modelul Bradley-Terry este o metodă statistică veche de un secol pentru a transforma comparațiile pe perechi (A bate B) în scoruri numerice. În inteligența artificială modernă, acesta oferă modele de recompensă care învață preferințele umane din „care răspuns este mai bun?” etichete, coloana vertebrală a RLHF.
Ce transformă modelul Bradley-Terry în scoruri numerice?
Bradley-Terry ia comparații pe perechi „A bate B” și deduce un scor de putere ascuns pentru fiecare articol, motiv pentru care se potrivește atât de bine cu etichetarea preferințelor umane.
În Bradley-Terry, probabilitatea ca A să învingă B este o funcție de ce?
Modelul stabilește P(A bate B) egal cu logistica (sigmoid) a diferenței dintre scorurile de putere ascunse ale lui A și B.
De ce recompensele Bradley-Terry sunt identificabile numai până la o constantă aditivă?
Pierderea la antrenament folosește doar diferența dintre recompensele alese și cele respinse, astfel încât schimbarea tuturor scorurilor cu aceeași constantă lasă pierderea neschimbată; scara absolută este arbitrară.
Care este pierderea standard pentru o singură comparație de preferințe în modelarea recompensei?
Log-probabilitatea negativă Bradley-Terry se reduce la minus log-sigmoid al diferenței de recompense alese-minus-respins, împingând recompensa răspunsului ales mai sus.
Care metodă omite un model de recompensă separat prin optimizarea obiectivului Bradley-Terry direct pe politică?
DPO reformulează obiectivul de preferință Bradley-Terry, astfel încât să poată fi aplicat direct modelului de politică, eliminând nevoia de a instrui și interoga un model de recompensă independent.
Continuați să învățați
Ghiduri conexe
Mai multe ghiduri alese pentru acest subiect