Iṣapeye Ipin Ipin Awọn aidọgba
Imudara Iyanfẹ Idiwọn Awọn aidọgba (ORPO) jẹ ọna titọ-titọ ti o nkọ awoṣe ede ihuwasi ti o dara ati awọn ayanfẹ eniyan ni iwe-aṣẹ ikẹkọ ẹyọkan.
Akopọ
It matters because it skips the usual separate reward model and reference model, making alignment cheaper and simpler.
Jin Dive
ORPO, ti a ṣe nipasẹ Ilu Họngi, Lee, ati Thorne ni ọdun 2024, ṣajọpọ iṣatunṣe didara abojuto ati titete yiyan si igbesẹ kan. Pupọ awọn opo gigun tito nkan ṣe SFT ni awọn apẹẹrẹ to dara, lẹhinna ṣiṣe ọna keji bi RLHF tabi DPO ti o nilo ẹda didi ti awoṣe (itọkasi) pẹlu awọn orisii ayanfẹ ti o fipamọ. ORPO yọ awoṣe itọkasi kuro patapata. Pipadanu rẹ ṣe afikun ọrọ ijiya kan si ibi-afẹde atẹle atẹle: o gbe awọn aidọgba ti awoṣe ṣe sọtọ si idahun ti o yan (ti o fẹ) lakoko titari awọn aidọgba ti ọkan ti a kọ. Nitoripe o nlo ipin awọn aidọgba kuku ju aafo iṣeeṣe log-ti o lagbara, ijiya jẹ onírẹlẹ, nitorinaa awoṣe kọ ẹkọ lati ṣe ojurere awọn idahun ti o dara laisi ajalu gbagbe iran ti o mọye.
Imọ-imọ-ẹrọ
Pipadanu ORPO jẹ pipadanu SFT agbelebu-entropy pẹlu log-sigmoid iwuwo ti ipin awọn aidọgba log laarin awọn idahun ti a yan ati ti a kọ. Awọn aidọgba dogba p / (1-p), nitorinaa ipin ṣe afiwe bi o ṣe ṣee ṣe diẹ sii ti awoṣe yoo rii idahun ti o dara dipo eyi ti ko dara. Lilo awọn aidọgba dipo iṣeeṣe aise ntọju itansan ìwọnba, eyi ti idilọwọ awọn lori-dimole ti kọ àmi ti o le degrade ohun unreferenced awoṣe.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ọjọ iwaju ti Imudara Iyanju Ipin Awọn aidọgba
ORPO n gba isunmọ nitori pe o ge iranti ati iṣiro nipa sisọ awoṣe itọkasi silẹ, eyiti o jẹ iwunilori fun awọn ẹgbẹ ti o dara-tuntun lori ohun elo to lopin. Reti pe yoo han diẹ sii nigbagbogbo ni awọn ilana orisun-ìmọ ati bi aṣayan aiyipada ni awọn ile-ikawe bii Hugging Face TRL. Iṣẹ iwaju yoo ṣe atunṣe iwuwo lambda laifọwọyi, dapọ ORPO pẹlu awọn ibi-afẹde ti ko ni itọkasi, ati fa siwaju si multimodal ati awọn awoṣe nla pupọ nibiti didimu awọn ẹda meji ni iranti jẹ idiyele.
Real-World imuse
Ṣiṣatunṣe didara awoṣe iwiregbe orisun 7B ṣiṣi lori awọn orisii ayanfẹ laisi ikojọpọ ẹda itọkasi keji, idinku iranti GPU idaji
Ibẹrẹ ti n ṣatunṣe oluranlọwọ atilẹyin alabara lati fẹran iwa-rere, awọn idahun eto imulo ni ṣiṣe ikẹkọ kan dipo SFT-lẹhinna-DPO
Awọn oniwadi ti n ṣe afiwe ORPO lodi si DPO lori ipilẹ data kanna lati ṣafihan titete afiwera pẹlu iṣiro kekere
Didara awoṣe ipilẹ kan si agbegbe pataki kan (fun apẹẹrẹ, kikọ ofin) nibiti awọn orisii apẹẹrẹ rere ati buburu wa ṣugbọn isuna-awoṣe ere kii ṣe
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Odds Ratio Preference Optimization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Imudara Iyanju Taara
Awọn ibeere ti a beere nigbagbogbo
What is Odds Ratio Preference Optimization?
Imudara Iyanfẹ Idiwọn Awọn aidọgba (ORPO) jẹ ọna titọ-titọ ti o nkọ awoṣe ede ihuwasi ti o dara ati awọn ayanfẹ eniyan ni iwe-aṣẹ ikẹkọ ẹyọkan. O ṣe pataki nitori pe o fo awoṣe ere lọtọ deede ati awoṣe itọkasi, ṣiṣe titete din owo ati rọrun.
Kini anfani iwulo akọkọ ti ORPO lori awọn ọna bii DPO?
ORPO ṣe kikọ ẹkọ ayanfẹ sinu pipadanu SFT ati pe ko nilo ẹda itọkasi tutunini ti awoṣe, fifipamọ iranti ati iṣiro.
Kini ipin 'awọn aidọgba' ni ORPO ṣe afiwe?
ORPO nlo ipin ti awọn aidọgba (p/ (1-p)) awoṣe ṣe ipinnu si idahun ti o fẹ julọ dipo eyi ti a ko fẹ.
ORPO ṣe awọn iṣẹ-ṣiṣe meji wo ni ikẹkọ kan kọja?
ORPO ṣajọpọ ibi-afẹde SFT ti o tẹle pẹlu ijiya ti o fẹ ninu pipadanu iṣọkan kan.
Kini idi ti ORPO lo awọn aidọgba dipo iyatọ iṣeeṣe log-aise fun ijiya naa?
Ijiya ti o da lori awọn aidọgba jẹ irẹwẹsi, ṣe iranlọwọ fun awoṣe ti a ko tọka lati tọju iran ti o dara lakoko ti o fẹran awọn idahun to dara.
Ipadanu ORPO jẹ apejuwe ti o dara julọ bi apapo wo?
ORPO ṣe afikun ọrọ-ipin log-sigmoid odds-odds lori oke ipadanu agbelebu-entropy ti iṣakoso.