Bradley-Terry Ere Modelling
Awoṣe Bradley-Terry jẹ ọna iṣiro-ọgọrun-atijọ fun titan awọn afiwera meji-meji (A lu B) sinu awọn nọmba nọmba.
Akopọ
In modern AI it powers reward models that learn human preferences from 'which answer is better?' labels, the backbone of RLHF.
Jin Dive
Bradley-Terry, ti a ṣe ni ọdun 1952, dawọle pe gbogbo ohun kan ni Dimegilio agbara ti o farapamọ, ati iṣeeṣe pe nkan A lu ohun kan B jẹ iṣẹ adaṣe ti iyatọ Dimegilio wọn. Ni titete AI, awọn maapu yii daadaa pẹlẹpẹlẹ data ayanfẹ: awọn aami eniyan rii awọn idahun awoṣe meji ati yan eyi ti o dara julọ, dipo fifun awọn iwọn-wọnsi pipe-lile-si-calibrate. Awoṣe ere kan, nigbagbogbo awoṣe ede pẹlu ori iṣelọpọ iwọn, ti ni ikẹkọ ki idahun ti eniyan fẹ gba ẹsan iwọn ti o ga julọ. Ipadanu naa jẹ iṣeeṣe log-odi ti iṣeeṣe Bradley-Terry: mu log-sigmoid pọ si ti (ẹsan ti ẹsan iyokuro ti a ti kọ). Awoṣe ẹsan ti o yọrisi lẹhinna ṣe iṣiro awọn abajade lainidii, n pese ifihan agbara ti o ṣe iranlọwọ awọn algoridimu ikẹkọ bii PPO jẹ ki awọn awoṣe ṣe iranlọwọ diẹ sii ati ibamu.
Imọ-imọ-ẹrọ
Ipadanu ikẹkọ fun lafiwe jẹ nìkan iyokuro log-sigmoid ti (r_chosen - r_rejected), nitorinaa awoṣe nikan kọ ẹkọ awọn iyatọ ibatan. Eyi tumọ si pe awọn ere jẹ idanimọ nikan titi di igbagbogbo aropọ; asekale pipe ni lainidii. Nitoripe awọn afiwera rọrun ati deede diẹ sii fun eniyan ju awọn nọmba 1-si-10, data Bradley-Terry ko ni ariwo. Imudara Iyanfẹ Taara nigbamii fihan pe o le foju awoṣe ere lọtọ ati mu ibi-afẹde Bradley-Terry wa taara lori eto imulo naa.
Ipa Ilana
Awọn ipinnu diẹ sii
O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita.
Iye owo ati isuna
O le beere awọn ibeere imuse to dara julọ ṣaaju lilo owo tabi akoko.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn ẹgbẹ pẹlu oye pinpin ṣe ọja to dara julọ, eto imulo, ati awọn ipinnu ikẹkọ.
Ojo iwaju ti Bradley-Terry Ere Modelling
Bradley-Terry dawọle ipele kan ti o ni ibamu ati awọn ayanfẹ transitive, eyiti o fọ nigba ti eniyan ko gba tabi yiyipo awọn ayanfẹ. Iwadi n gbe lọ si awọn awoṣe ti o gba awọn pinpin ayanfẹ, awọn ere onisẹpo pupọ (iranlọwọ, ailewu, otitọ ti a gba wọle lọtọ), ati awọn ọna bii ẹkọ Nash lati awọn esi eniyan ti o ju arosinu-ọkan silẹ. DPO ati awọn iyatọ rẹ pọ si pọ si ibi-afẹde Bradley-Terry taara sinu ikẹkọ eto imulo. Reti awọn igbero afiwera ti o pọ sii, pẹlu awọn ipo ti o ju awọn ohun meji lọ ati awọn ayanfẹ-igbẹkẹle, lati dinku gige gige ere.
Real-World imuse
Ikẹkọ awoṣe ere ni RLHF ti o ni ipo awọn idahun chatbot meji ati ifunni ifihan agbara ti o buru julọ si atunṣe-itanran PPO.
Imudara ààyò Taara itanran-tunse awoṣe taara lori awọn orisii idahun ti a yan-dipo-ti kọ nipa lilo pipadanu Bradley-Terry log-sigmoid.
Ipele chess tabi esports awọn oṣere nipasẹ Elo, eyiti o jẹ ibatan ibatan ti o sunmọ ti awoṣe Bradley-Terry lori awọn abajade ere.
Ṣiṣeto ipo iṣeduro akoonu lati 'awọn olumulo fẹ A ju B' tẹ data dipo awọn idiyele irawọ pipe.
Awọn ewu & Awọn ọna iṣọ
Awọn ẹgbẹ oriṣiriṣi le lo ọrọ kanna ni oriṣiriṣi, nitorinaa ṣalaye iwọn ni kutukutu.
Awọn aṣepari le wo lagbara lakoko ti iṣẹ-aye gidi ko ṣe deede.
Aibikita didara data ati awọn ero igbelewọn nigbagbogbo ṣẹda awọn abajade ẹlẹgẹ.
Ilana Ilana imuse
Bẹrẹ pẹlu itumọ-ede itele ti abajade ti o nilo.
Mu metiriki aṣeyọri kan ati ipo ikuna kan ṣaaju idanwo.
Ṣiṣe awakọ kekere kan pẹlu data aṣoju, kii ṣe eto demo didan.
Iwe-ipamọ nibiti Bradley-Terry Reward Modelling ṣe iranlọwọ ati nibiti awọn ọna ti o rọrun dara julọ.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Bradley-Terry Reward Modeling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Awoṣe Ere
Awọn ibeere ti a beere nigbagbogbo
What is Bradley-Terry Reward Modeling?
Awoṣe Bradley-Terry jẹ ọna iṣiro-ọgọrun-atijọ fun titan awọn afiwera meji-meji (A lu B) sinu awọn nọmba nọmba. Ni AI ode oni o ṣe agbara awọn awoṣe ere ti o kọ awọn ayanfẹ eniyan lati 'idahun wo ni o dara julọ?' akole, ẹhin ti RLHF.
Kini awoṣe Bradley-Terry ṣe iyipada si awọn nọmba nọmba?
Bradley-Terry gba awọn afiwera 'A lu B' ni ọna meji ati ṣe afihan Dimegilio agbara ti o farapamọ fun ohun kọọkan, eyiti o jẹ idi ti o baamu isamisi ayanfẹ eniyan daradara.
Ni Bradley-Terry, iṣeeṣe ti A lu B jẹ iṣẹ ti kini?
Awoṣe naa ṣeto P (A lu B) dogba si logistic (sigmoid) ti iyatọ laarin A ati awọn ikun agbara pamọ.
Kini idi ti awọn ere Bradley-Terry jẹ idanimọ nikan titi di igbagbogbo aropọ?
Pipadanu ikẹkọ nlo iyatọ nikan laarin awọn ere ti a yan ati ti a kọ, nitorinaa yiyi gbogbo awọn ikun nipasẹ igbagbogbo kanna fi ipadanu silẹ ko yipada; asekale pipe ni lainidii.
Kini isonu boṣewa fun lafiwe ààyò kan ni ere awoṣe?
Iṣeṣe log odi Bradley-Terry dinku si iyokuro log-sigmoid ti iyatọ ere ti a yan-iyokuro-ikọsilẹ, titari ere idahun ti o yan ga.
Ọna wo ni o fo awoṣe ere ti o yatọ nipa jijẹ ibi-afẹde Bradley-Terry taara lori eto imulo naa?
DPO ṣe atunṣe ipinnu ipinnu Bradley-Terry ki o le lo taara si awoṣe eto imulo, yọkuro iwulo lati ṣe ikẹkọ ati beere awoṣe ere ti o ni imurasilẹ.