Awoṣe Ere
Awoṣe ere jẹ nẹtiwọọki nkankikan ti oṣiṣẹ lati ṣe asọtẹlẹ bawo ni idahun AI ṣe dara to, ṣiṣe bi iduro adaṣe adaṣe fun idajọ eniyan.
Akopọ
It is the scoring engine that makes reinforcement learning from human feedback possible at scale.
Jin Dive
Awoṣe ere n yanju iṣoro ti o wulo: eniyan ko le ṣe iwọn gbogbo awọn miliọnu awọn abajade ti awoṣe kan n gbejade lakoko ikẹkọ. Dipo, awọn akole ṣe afiwe eto awọn idahun kekere kan, nigbagbogbo yiyan ewo ninu awọn idahun meji si itọsi kanna ni o dara julọ. Awoṣe ere lẹhinna ni ikẹkọ lori awọn afiwera wọnyi lati ṣe agbejade Dimegilio iwọn kan fun eyikeyi bata idahun-kiakia. Ibi-afẹde ikẹkọ boṣewa jẹ awoṣe Bradley-Terry, eyiti o yi awọn ayanfẹ meji-meji si iṣeeṣe pe idahun kan ga ju omiran lọ. Ni kete ti ikẹkọ, awoṣe ẹsan le ṣe iṣiro idiyele lainidi awọn abajade tuntun ti ailopin, pese ami ifihan ti awọn algoridimu bii PPO lo lati mu awoṣe ede dara si. Awọn awoṣe ẹsan tun tun lo ni akoko itọkasi fun iṣapẹẹrẹ ti o dara julọ-ti-N, nibiti ọpọlọpọ awọn oludije ti ṣe ipilẹṣẹ ati ọkan ti o ga julọ ti pada.
Imọ-imọ-ẹrọ
Awoṣe ere jẹ igbagbogbo awoṣe ede ipilẹ pẹlu ori asọtẹlẹ ami-ami rẹ ti o rọpo nipasẹ Layer laini kan ti o jade ni iwọn kan. Ikẹkọ jẹ ki o ṣeeṣe log-o ṣeeṣe pe awọn ikun esi ti o yan ga ju eyi ti a kọ lọ: pipadanu = -log(sigmoid (r_chosen - r_rejected)). Iyatọ ibatan nikan ni o ṣe pataki, nitorinaa iwọn pipe jẹ lainidii. Awọn isunmọ didara lori aitasera aami ati agbegbe gbooro ti awọn aza idahun.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti Ere Modeling
Iwadi n koju awọn awoṣe ere 'awọn ailagbara ti o tobi julọ: wọn le jẹ 'gepa' (awọn awoṣe lo nilokulo awọn quirks bii ipari gigun), ati pe wọn yọ kuro ni pinpin bi eto imulo ṣe ilọsiwaju. Awọn itọnisọna ti o ni ileri pẹlu awọn awoṣe ere ilana ti o ṣe idiyele igbesẹ ero kọọkan, awọn akojọpọ ati awọn iṣiro aidaniloju lati koju gige sakasaka, awọn aami yiyan ti AI ti ipilẹṣẹ (RLAIF), ati awọn awoṣe ere ẹda ti o ṣe agbejade awọn asọye ati awọn idiyele dipo nọmba igboro.
Real-World imuse
Agbara RLHF fun awọn oluranlọwọ bii ChatGPT ati Claude nipasẹ awọn idahun awọn oludibo ni igbelewọn lakoko ikẹkọ PPO
Iṣapẹẹrẹ ti o dara julọ ti N, nibiti awoṣe kan ti ṣe agbejade ọpọlọpọ awọn idahun ati awoṣe ẹsan yan eyi ti o dara julọ fun olumulo
Iṣiro ati ifaminsi 'awọn oludari' tabi awọn awoṣe ere ilana ti o ṣe Dimegilio awọn igbesẹ ero agbedemeji lati mu ilọsiwaju iṣoro
Ipo ati sisẹ data ikẹkọ sintetiki, titọju awọn iran ti o ni igbelewọn giga nikan fun iṣatunṣe itanran siwaju
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Reward Modeling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Bradley-Terry Ere Modelling
Awọn ibeere ti a beere nigbagbogbo
What is Reward Modeling?
Awoṣe ere jẹ nẹtiwọọki nkankikan ti oṣiṣẹ lati ṣe asọtẹlẹ bawo ni idahun AI ṣe dara to, ṣiṣe bi iduro adaṣe adaṣe fun idajọ eniyan. O jẹ ẹrọ igbelewọn ti o jẹ ki ẹkọ imuduro lati awọn esi eniyan ṣee ṣe ni iwọn.
Kini abajade akọkọ ti awoṣe ere kan fun bata-idahun kiakia?
Awoṣe ere ṣe maapu kiakia ati idahun si nọmba iwọnwọn kan ti o nsoju didara asọtẹlẹ tabi ayanfẹ eniyan.
Iru data eniyan wo ni a lo julọ lati kọ awọn awoṣe ere?
Awọn akole maa n ṣe afiwe awọn idahun meji si iyara kanna ati mu eyi ti o dara julọ; awoṣe Bradley-Terry ṣe iyipada awọn wọnyi sinu ere ti iwọn.
Kini isonu ere-awoṣe boṣewa mu dara si?
Pipadanu Bradley-Terry, -log (sigmoid (r_chosen - r_rejected)), bikita nikan nipa aṣẹ ibatan, nitorina iwọn pipe jẹ lainidii.
Kini 'fijipa ere'?
Sakasaka ere n ṣẹlẹ nigbati awoṣe ba rii awọn ọna abuja (bii gigun ti o pọ ju tabi ipọnni) pe awọn oṣuwọn awoṣe ere aipe ga julọ ṣugbọn eniyan kii yoo.
Bawo ni awoṣe ẹsan ṣe jẹyọ ni ọna ayaworan lati inu awoṣe ede kan?
Awoṣe ẹsan ni igbagbogbo tun lo ẹhin LM ṣugbọn ṣe paarọ ipele ikẹhin fun ọkan ti o ṣejade ere iwọn iwọn kan.