Bradley-Terry Reward Modeling
Ụdị Bradley-Terry bụ usoro ndekọ ọnụ ọgụgụ narị afọ gara aga maka ịtụgharị ntụnyere ụzọ abụọ (A beats B) ka ọ bụrụ akara ọnụọgụ.
Nchịkọta
In modern AI it powers reward models that learn human preferences from 'which answer is better?' labels, the backbone of RLHF.
Ime miri emi
Bradley-Terry, ewepụtara na 1952, na-eche na ihe ọ bụla nwere akara ike zoro ezo, na ihe gbasara nke ahụ A na-akụ ihe B bụ ọrụ mgbagha nke ọdịiche akara ha. Na nhazi AI, maapụ a nke ọma na data mmasị: ndị na-ede aha mmadụ na-ahụ nzaghachi ụdị abụọ wee họrọ nke ka mma, kama ịnye ọkwa zuru oke nke siri ike ịhazi. A zụrụ ụdị ụgwọ ọrụ, nke na-abụkarị ụdị asụsụ nwere isi mmepụta scalar, ka nzaghachi ụmụ mmadụ masịrị wee nweta ụgwọ ọrụ scalar dị elu. Ọnwụ ahụ bụ log na-adịghị mma nke puru omume Bradley-Terry: bulie log-sigmoid nke (ụgwọ ọrụ mwepu nke ahọpụtara nke jụrụ). Ụdị ụgwọ ọrụ a na-esi na ya pụta wee nweta nsonaazụ aka ike, na-enye mgbaàmà na-akwado algọridim mmụta mmụta dị ka PPO na-ebuli megide ime ka ụdị ahụ dịkwuo aka ma kwekọọ.
Nghọta nka nka
Ọnwụ ọzụzụ maka ntụnyere bụ naanị mwepu log-sigmoid nke (r_chosen - r_rejected), yabụ naanị ihe nlereanya na-amụta ọdịiche dị n'etiti. Nke a pụtara na a ga-amata ụgwọ ọrụ naanị ruo na mgbakwunye mgbe niile; ọnụ ọgụgụ zuru oke bụ aka ike. N'ihi na ntụnyere dị mfe ma na-agbanwe agbanwe maka mmadụ karịa akara 1 ruo 10, data Bradley-Terry adịchaghị mkpọtụ. Nkachamma mmasị ozugbo gosipụtara na ị nwere ike ịwụpụ ụdị ụgwọ ọrụ dị iche wee kwalite ebumnobi Bradley-Terry ozugbo na amụma ahụ.
Mmetụta atụmatụ
Mkpebi doro anya
Ọ na-enyere gị aka ikewapụta nkwupụta ọrụ aka doro anya na asụsụ ahịa.
Ọnụ ego na mmefu ego
Ị nwere ike ịjụ ajụjụ mmejuputa iwu ka mma tupu itinye ego ma ọ bụ oge.
Team na usoro ọrụ
Ndị otu nwere nghọta na-eme ka ngwaahịa, amụma na mkpebi mmụta ka mma.
Ọdịnihu nke ihe nlere anya Bradley-Terry
Bradley-Terry na-ewere otu ogo na-agbanwe agbanwe na mmasị mgbanwe, nke na-akụda mgbe ụmụ mmadụ ekwenyeghị ma ọ bụ okirikiri mmasị. Nnyocha na-aga n'ihu n'ụdị na-ejide nkesa mmasị, ụgwọ ọrụ dị iche iche (enyemaka, nchekwa, ịkwụwa aka ọtọ nke iche), yana ụzọ dị ka mmụta Nash site na nzaghachi mmadụ na-ahapụ echiche nke otu akara. DPO na ụdị dị iche iche ya na-agbanyewanye ebumnobi Bradley-Terry ozugbo na ọzụzụ amụma. Na-atụ anya atụmatụ ntụnyere bara ụba, gụnyere ọkwa nke ihe karịrị ihe abụọ yana mmasị nwere ntụkwasị obi, iji belata hacking ụgwọ ọrụ.
Mmejuputa n'ezie n'ụwa
Ọzụzụ ihe nrịbama ụgwọ ọrụ na RLHF nke debere nzaghachi chatbot abụọ ma na-enye akara ngosi ka njọ na nlegharị anya PPO.
Mmasị mma ozugbo na-emezi ihe nlere ozugbo na ụzọ abụọ ahọpụtara-karịrị-ajụjụ site na iji mfu Bradley-Terry log-sigmoid.
Ịnye chess ma ọ bụ na-ebuga ndị egwuregwu site na Elo, nke bụ mgbakọ na mwepụ dị nso nke ụdị Bradley-Terry na nsonaazụ egwuregwu.
Ịmepụta ọkwa ọkwa ọdịnaya site na 'ndị ọrụ họọrọ A karịa B' data pịa karịa karịa ọkwa kpakpando zuru oke.
Ihe ize ndụ & okporo ụzọ nche
Otu dị iche iche nwere ike iji otu okwu ahụ mee ihe n'ụzọ dị iche, yabụ kọwapụta oge n'oge.
Ihe nrịbama nwere ike ịdị ike ebe arụmọrụ ụwa na-adaghị adaba.
Ileghara ogo data na atụmatụ nyocha anya na-emepụtakarị nsonaazụ na-adịghị mma.
Map mmejuputa
Malite na nkọwa asụsụ dị larịị nke nsonaazụ ịchọrọ.
Họrọ otu metrik ịga nke ọma na otu ọnọdụ ọdịda tupu nnwale.
Gbaa obere onye na-anya ụgbọ elu nwere data nnọchite anya, ọ bụghị ihe ngosi ngosi na-egbu maramara.
Akwụkwọ ebe Bradley-Terry Reward Modeling na-enyere aka yana ebe ụzọ ndị dị mfe ka mma.
Nọgide na-eme nchọpụta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Bradley-Terry Reward Modeling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Ntuziaka na-esote
Nlereanya ugwo
Ajụjụ a na-ajụkarị
What is Bradley-Terry Reward Modeling?
Ụdị Bradley-Terry bụ usoro ndekọ ọnụ ọgụgụ narị afọ gara aga maka ịtụgharị ntụnyere ụzọ abụọ (A beats B) ka ọ bụrụ akara ọnụọgụ. Na AI ọgbara ọhụrụ ọ na-enye ụdị ụgwọ ọrụ nke na-amụta mmasị mmadụ site na 'nke azịza ka mma?' akara, ọkpụkpụ azụ nke RLHF.
Kedu ihe nlereanya Bradley-Terry na-atụgharị ka ọ bụrụ akara ọnụọgụ?
Bradley-Terry na-ewere ntụnyere 'A na-akụ B' ụzọ abụọ wee wepụta akara ike zoro ezo maka ihe ọ bụla, nke mere na ọ dabara na mmanye mmasị mmadụ nke ọma.
Na Bradley-Terry, ihe gbasara nke puru omume na A na-eti B bụ ọrụ nke gịnị?
Ihe nlereanya ahụ na-esetịpụ P(A gbagwojuru B) hà nhata na mgbagha (sigmoid) nke ọdịiche dị n'etiti akara ike zoro ezo A na B.
Kedu ihe kpatara eji amata ụgwọ ọrụ Bradley-Terry naanị ruo na mgbakwunye mgbe niile?
Ọnwụ ọzụzụ na-eji naanị ọdịiche dị n'etiti ụgwọ ọrụ ahọpụtara na nke a jụrụ ajụ, yabụ na-atụgharị akara niile site n'otu oge na-ahapụ mfu ahụ agbanweghị; ọnụ ọgụgụ zuru oke bụ aka ike.
Gịnị bụ ọkọlọtọ ọnwụ maka otu mmasị ntụnyere na ụgwọ ọrụ ịṅomi?
Ihe ndekọ na-adịghị mma Bradley-Terry na-ebelata ka mwepu log-sigmoid nke ụgwọ ọrụ ahọpụtara-mwepu jụrụ, na-akwalite ụgwọ ọrụ nzaghachi ahọpụtara dị elu.
Kedu usoro na-awụpụ ụdị ụgwọ ọrụ dị iche iche site na ịkwalite ebumnobi Bradley-Terry ozugbo na amụma ahụ?
DPO na-emegharị ebumnobi mmasị Bradley-Terry ka e wee tinye ya ozugbo na usoro amụma, na-ewepụ mkpa ọ dị ịzụ na jụọ ụdị ụgwọ ọrụ kwụụrụ onwe ya.