Akopọ
Imudara Iyanfẹ Idiwọn Awọn aidọgba (ORPO) jẹ ọna titọ-titọ ti o nkọ awoṣe ede ihuwasi ti o dara ati awọn ayanfẹ eniyan ni iwe-aṣẹ ikẹkọ ẹyọkan. O ṣe pataki nitori pe o fo awoṣe ere lọtọ deede ati awoṣe itọkasi, ṣiṣe titete din owo ati rọrun.
Imudara Iyanfẹ Idiwọn Idiwọn jẹ apakan ti akopọ ede-AI ti a lo lati ka, ṣe ipilẹṣẹ, ṣe lẹtọ, ati yi ọrọ ati ọrọ pada ni iwọn.
Jin Dive
ORPO, ti a ṣe nipasẹ Ilu Họngi, Lee, ati Thorne ni ọdun 2024, ṣajọpọ iṣatunṣe didara abojuto ati titete yiyan si igbesẹ kan. Pupọ awọn opo gigun tito nkan ṣe SFT ni awọn apẹẹrẹ to dara, lẹhinna ṣiṣe ọna keji bi RLHF tabi DPO ti o nilo ẹda didi ti awoṣe (itọkasi) pẹlu awọn orisii ayanfẹ ti o fipamọ. ORPO yọ awoṣe itọkasi kuro patapata. Pipadanu rẹ ṣe afikun ọrọ ijiya kan si ibi-afẹde atẹle atẹle: o gbe awọn aidọgba ti awoṣe ṣe sọtọ si idahun ti o yan (ti o fẹ) lakoko titari awọn aidọgba ti ọkan ti a kọ. Nitoripe o nlo ipin awọn aidọgba kuku ju aafo iṣeeṣe log-ti o lagbara, ijiya jẹ onírẹlẹ, nitorinaa awoṣe kọ ẹkọ lati ṣe ojurere awọn idahun ti o dara laisi ajalu gbagbe iran ti o mọye.
Imọ-imọ-ẹrọ
Pipadanu ORPO jẹ pipadanu SFT agbelebu-entropy pẹlu log-sigmoid iwuwo ti ipin awọn aidọgba log laarin awọn idahun ti a yan ati ti a kọ. Awọn aidọgba dogba p / (1-p), nitorinaa ipin ṣe afiwe bi o ṣe ṣee ṣe diẹ sii ti awoṣe yoo rii idahun ti o dara dipo eyi ti ko dara. Lilo awọn aidọgba dipo iṣeeṣe aise ntọju itansan ìwọnba, eyi ti idilọwọ awọn lori-dimole ti kọ àmi ti o le degrade ohun unreferenced awoṣe.
Iṣapejuwe Ipin Awọn aidọgba Mastering
Imudara Iyanfẹ Idiwọn Awọn aidọgba (ORPO) jẹ ọna titọ-titọ ti o nkọ awoṣe ede ihuwasi ti o dara ati awọn ayanfẹ eniyan ni iwe-aṣẹ ikẹkọ ẹyọkan. O ṣe pataki nitori pe o fo awoṣe ere lọtọ deede ati awoṣe itọkasi, ṣiṣe titete din owo ati rọrun. Imudara Iyanfẹ Idiwọn Idiwọn jẹ apakan ti akopọ ede-AI ti a lo lati ka, ṣe ipilẹṣẹ, ṣe lẹtọ, ati yi ọrọ ati ọrọ pada ni iwọn. Lati kọ oye ti o jinlẹ, ṣe itọju Imudara Iyanfẹ Idiwọn bi awoṣe iṣẹ, kii ṣe ẹya ẹyọkan: ṣalaye awọn abajade ti o fẹ, ṣe alaye awọn arosọ, ati lọtọ ohun ti eto le ṣe ni igbẹkẹle lati ohun ti o tun nilo idajọ amoye.
Ni iṣe, awọn ẹgbẹ ti o lagbara ti o nlo Imudara Imudara Iyanju Odds Ratio awọn itọda apẹrẹ, imupadabọ, ati atunyẹwo awọn losiwajulosehin bi eto ibaraẹnisọrọ iṣọpọ kan. Wọn ṣe akọsilẹ awọn ibeere aṣeyọri ti o fojuhan, idanwo lodi si data ojulowo ati ṣiṣan iṣẹ, ati atunbere ti o da lori awọn ilana ikuna ti a ṣakiyesi dipo awọn bori ala-akoko kan. Eyi ni ibiti oye imọ-jinlẹ yipada si agbara ti o tọ kọja ọja, eto imulo, ati awọn iṣẹ ṣiṣe.
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera. Ni akoko kanna, awọn otitọ hallucinated le tẹ awọn ijabọ laiparuwo, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii. Ọna resilient julọ julọ ni lati darapọ iyara idanwo pẹlu ibawi ijọba: ṣiṣe awọn awakọ awakọ, mu ẹri mu, ṣe atẹjade awọn iwe ipinnu, ati imudojuiwọn awọn aabo nigbagbogbo bi ihuwasi awoṣe, awọn ireti olumulo, ati awọn ibeere ilana ti dagbasoke.
Ipa Ilana
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.
Real-World imuse
Ṣiṣatunṣe didara awoṣe iwiregbe orisun 7B ṣiṣi lori awọn orisii ayanfẹ laisi ikojọpọ ẹda itọkasi keji, idinku iranti GPU idaji
Ibẹrẹ ti n ṣatunṣe oluranlọwọ atilẹyin alabara lati fẹran iwa-rere, awọn idahun eto imulo ni ṣiṣe ikẹkọ kan dipo SFT-lẹhinna-DPO
Awọn oniwadi ti n ṣe afiwe ORPO lodi si DPO lori ipilẹ data kanna lati ṣafihan titete afiwera pẹlu iṣiro kekere
Didara awoṣe ipilẹ kan si agbegbe pataki kan (fun apẹẹrẹ, kikọ ofin) nibiti awọn orisii apẹẹrẹ rere ati buburu wa ṣugbọn isuna-awoṣe ere kii ṣe
Awọn Ilana imuse
Iṣapeye Ipin Idiwọn Idiwọn ni iṣe
Titunse awoṣe iwiregbe orisun-ìmọ 7B lori awọn orisii ayanfẹ laisi ikojọpọ ẹda itọkasi keji, idinku iranti GPU idaji.
Titun-tunse awoṣe iwiregbe 7B ṣiṣi-ìmọ lori awọn orisii ayanfẹ laisi ikojọpọ ẹda itọkasi keji, idinku awọn ẹgbẹ iranti GPU nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe ni akoko pupọ.
Iṣapeye Ipin Idiwọn Idiwọn ni iṣe
Ibẹrẹ ti n ṣatunṣe oluranlọwọ atilẹyin alabara lati fẹran iwa-rere, awọn idahun eto imulo ni ṣiṣe ikẹkọ kan dipo SFT-lẹhinna-DPO.
Ibẹrẹ ti n ṣatunṣe oluranlọwọ atilẹyin alabara lati fẹran iwa-rere, awọn idahun eto imulo ni ṣiṣe ikẹkọ kan dipo awọn ẹgbẹ SFT-lẹhinna-DPO nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe lori akoko.
Iṣapeye Ipin Idiwọn Idiwọn ni iṣe
Awọn oniwadi ti n ṣe afiwe ORPO lodi si DPO lori ipilẹ data kanna lati ṣafihan titete afiwera pẹlu iṣiro kekere.
Awọn oniwadi ti n ṣe afiwe ORPO lodi si DPO lori data data kanna lati ṣafihan isọdi afiwera pẹlu Awọn ẹgbẹ iṣiro kekere nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe ni akoko pupọ.
Iṣapeye Ipin Idiwọn Idiwọn ni iṣe
Didara awoṣe ipilẹ kan si agbegbe amọja (fun apẹẹrẹ, kikọ ofin) nibiti awọn orisii apẹẹrẹ rere ati buburu wa ṣugbọn isuna-awoṣe ere kii ṣe.
Aṣamubadọgba awoṣe ipilẹ si agbegbe amọja (fun apẹẹrẹ, kikọ ofin) nibiti awọn orisii apẹẹrẹ ti o dara ati buburu wa ṣugbọn isuna-apẹẹrẹ kii ṣe Awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe lori akoko.
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.