Ẹkọ Imudara Lati Idahun Eniyan
RLHF jẹ ilana ti o yi awoṣe ede aise pada si oluranlọwọ, oniwa rere nipasẹ ikẹkọ lori awọn ayanfẹ eniyan.
Akopọ
It matters because it aligns model behavior with what people actually want, not just what is statistically likely.
Jin Dive
Awoṣe ede ti a ti kọkọ tẹlẹ sọ asọtẹlẹ ọrọ ti o ṣeeṣe, ṣugbọn o ṣeeṣe ko jẹ kanna bii iranlọwọ, ooto, tabi ailewu. RLHF ṣe atunṣe eyi ni awọn ipele. Lákọ̀ọ́kọ́, àmójútó àtúnṣe dáradára kọ́ àwòṣe náà láti tẹ̀lé àwọn ìtọ́nisọ́nà nípa lílo àwọn ìdáhùn àpẹrẹ tí a kọ ènìyàn. Nigbamii ti, awọn eniyan ṣe afiwe awọn orisii awọn idahun awoṣe si tọ kanna ati mu eyi ti o dara julọ; awọn afiwera wọnyi ṣe ikẹkọ awoṣe ere ọtọtọ ti o ṣe iṣiro eyikeyi esi. Ni ipari, awoṣe ede jẹ iṣapeye pẹlu ẹkọ imuduro lati gbejade awọn idahun awọn oṣuwọn awoṣe ere gaan. Ijiya kan jẹ ki o ma lọ jinna si awoṣe atilẹba nitoribẹẹ o duro ni irọrun ati pe ko lo nilokulo ti awoṣe ere. RLHF jẹ agbedemeji lati jẹ ki awọn oluranlọwọ ara ChatGPT jẹ lilo.
Imọ-imọ-ẹrọ
Awoṣe ere jẹ ikẹkọ nigbagbogbo lori awọn orisii ayanfẹ pẹlu ipadanu ara Bradley-Terry, kikọ ẹkọ lati fun idahun ti o fẹ eniyan ni Dimegilio iwọn ti o ga julọ. Eto imulo naa ti ni imudojuiwọn pẹlu PPO (Imudara Afihan Isunmọ), eyiti o mu ere pọ si lakoko ijiya iyatọ KL kan lodi si awoṣe itọkasi ṣe idilọwọ iṣapeye ju ati 'fipa gige ere'. Nitori PPO jẹ aduroṣinṣin, awọn ọna tuntun bii DPO (Iṣapeye Iyanfẹ Taara) foju awoṣe ere ti o fojuhan ati lupu imuduro, ṣiṣe eto imulo taara lati awọn orisii ayanfẹ.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ọjọ iwaju ti Ẹkọ Imudara Lati Idahun Eniyan
RLHF ti wa ni ṣiṣan ati adaṣe ni apakan. DPO ati awọn ọna ayanfẹ taara ti o ni ibatan n rọpo opo gigun ti epo PPO fun ọpọlọpọ awọn ẹgbẹ, ati RLAIF nlo awọn esi ti ipilẹṣẹ AI (bii ninu AI t’olofin) lati ge awọn idiyele isamisi. Iwadi n koju gige sakasaka ere, ojuṣaaju onitumọ, ati iṣoro ti idajọ gigun tabi awọn idahun iwé, pẹlu awọn ilana bii abojuto ilana ati ariyanjiyan. Reti titete lati dapọ eniyan ati awọn esi AI, awọn ifihan agbara ere ti o pọ ju atampako kan lọ, ati ayewo ti o dagba ti ẹniti o pese awọn yiyan ati iru awọn iye wo ni wọn fi koodu sii.
Real-World imuse
Ṣiṣatunṣe oluranlọwọ iwiregbe ki o kọ awọn ibeere ipalara ati fun iranlọwọ, awọn idahun ti a ṣeto daradara dipo ọrọ ti o ṣeeṣe nikan.
Ipo awọn orisii akojọpọ nipasẹ ayanfẹ eniyan lati ṣe ikẹkọ awoṣe ti o kọ awọn akopọ ti eniyan rii iwulo gaan.
Idinku majele tabi awọn abajade aiṣedeede nipasẹ awọn idahun ere ti awọn oniyeye eniyan ṣe idajọ ọwọ ati ailewu.
Lilo DPO lori iwe-ipamọ data ti o fẹ la awọn idahun ti a kọ lati ṣe deede awoṣe orisun-ìmọ laisi ṣiṣiṣẹ lupu PPO ni kikun.
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Reinforcement Learning From Human Feedback quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Ẹkọ imudara
Awọn ibeere ti a beere nigbagbogbo
What is Reinforcement Learning From Human Feedback?
RLHF jẹ ilana ti o yi awoṣe ede aise pada si oluranlọwọ, oniwa rere nipasẹ ikẹkọ lori awọn ayanfẹ eniyan. O ṣe pataki nitori pe o ṣe deede ihuwasi awoṣe pẹlu ohun ti eniyan fẹ gaan, kii ṣe ohun ti o ṣeeṣe iṣiro.
Kini idi akọkọ ti RLHF fun awoṣe ede kan?
RLHF ṣe itọsọna awoṣe kan si awọn idahun ti eniyan fẹ, ti o jẹ ki o ṣe iranlọwọ diẹ sii, ooto, ati ailewu dipo ki o ṣeeṣe lasan.
Kini awoṣe ere ni RLHF kọ ẹkọ lati ṣe gangan?
Awoṣe ere naa jẹ ikẹkọ lori awọn afiwera ayanfẹ eniyan si awọn idahun Dimegilio, pese ifihan agbara ti eto imulo ṣe iṣapeye lodi si.
Kini idi ti ijiya iyatọ-KL lodi si awoṣe atilẹba ti a lo lakoko igbesẹ RL?
Ijiya KL ntọju eto imulo iṣapeye sunmọ awoṣe itọkasi, aabo lodi si gige sakasaka ere ati isonu ti oye.
Bawo ni a ṣe n gba data ayanfẹ ni igbagbogbo fun awoṣe ere?
Awọn olufojusi mu idahun ti o fẹ julọ ni awọn afiwera meji, eyiti o ṣe ikẹkọ awoṣe ere nipasẹ pipadanu ara Bradley-Terry.
Anfaani wo ni DPO (Imudara Iyanfẹ Taara) funni lori opo gigun ti epo RLHF Ayebaye?
DPO n gba ibi-afẹde taara lati awọn ayanfẹ, yago fun awoṣe ẹsan lọtọ ati igbesẹ ikẹkọ ti o ni ifarakanra.