Imudara Iyanju Taara
Imudara Iyanju Taara (DPO) jẹ ọna lati ṣe afiwe awọn awoṣe ede pẹlu awọn ayanfẹ eniyan laisi ikẹkọ awoṣe ẹsan lọtọ tabi ṣiṣe ikẹkọ imudara.
Akopọ
It collapses a complex multi-stage pipeline into a single, stable training loss.
Jin Dive
DPO, ti a ṣafihan nipasẹ Rafailov ati awọn alabaṣiṣẹpọ ni Stanford ni ọdun 2023, tun ronu bi a ṣe nkọ awoṣe ohun ti eniyan fẹ. Ọna ibile (RLHF) ṣe ikẹkọ awoṣe ere kan lori awọn afiwera eniyan, lẹhinna lo ikẹkọ imuduro lati mu ere yẹn pọ si. Imọye bọtini DPO jẹ mathematiki: eto imulo ti o dara julọ labẹ ibi-afẹde RLHF yẹn ni ibatan fọọmu-pipade si ẹsan naa, nitorinaa o le tunto awọn idogba ati mu awoṣe ede dara taara lori awọn orisii ayanfẹ. O fun ni ni kiakia, idahun 'ayanfẹ' (ti o fẹ) ati idahun 'ti a kọ silẹ', ati adanu ara-isọtọ ti o rọrun kan nudges awoṣe lati jẹ ki idahun ti o yan le ṣe diẹ sii. Ko si awoṣe ere, ko si loop iṣapẹẹrẹ, ko si gige sakasaka ere. O rọrun pupọ ati iduroṣinṣin diẹ sii lati ṣiṣẹ.
Imọ-imọ-ẹrọ
DPO nlo adanu agbelebu-entropy alakomeji lori awọn orisii ayanfẹ. O pọ si ipin iṣeeṣe log-ti idahun ti o yan ni ibatan si ọkan ti a kọ, ọkọọkan wọn ni ilodi si awoṣe itọkasi tutunini (nigbagbogbo aaye ibẹrẹ ti a ṣe abojuto-daradara-aifwy). Beta paramita otutu kan n ṣakoso bii eto imulo le fò kuro ni itọkasi yẹn, ni imunadoko ni imunadoko KL ti RLHF kan ni gbangba. Ere naa kii ṣe ohun elo; o jẹ alaigbọran ninu awọn iṣeeṣe log-awọn eto imulo.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti Imudara ààyò Taara
DPO ti di ọna titete aiyipada nitori pe o jẹ olowo poku ati pe o le ṣe atunṣe, ati pe o fa idile ti awọn iyatọ: Awọn atunṣe IPO ti o pọ ju lori awọn ayanfẹ ipinnu-isunmọ, KTO kọ ẹkọ lati awọn aami ti o dara-tabi-buburu dipo awọn orisii, ati ORPO agbo ààyò ikẹkọ sinu ṣiṣe-itanran laisi awoṣe itọkasi. Reti iṣẹ ti o tẹsiwaju lori apapọ DPO pẹlu data eto imulo ati gigun / debiasing didara, dín aafo to ku pẹlu RLHF ori ayelujara ni kikun.
Real-World imuse
Awọn awoṣe iwiregbe iwuwo-ìmọ ti o dara bi Zephyr ati ọpọlọpọ Llama ati awọn itọsẹ Mistral, eyiti o ni ibamu pẹlu DPO lori awọn ipilẹ data ti o fẹ.
Dinku ipalara tabi awọn abajade ti ko ṣe iranlọwọ ni lilo awọn orisii nibiti ailewu, idahun iranlọwọ jẹ 'yan' lori ọkan iṣoro kan
Kikọ oluranlọwọ ifaminsi lati fẹ pe o tọ, awọn solusan ti a ṣe iwe-aṣẹ daradara lori awọn buggy nipa lilo awọn afiwera-olugbese
Aṣa akopọ ti iṣatunṣe ki awọn awoṣe ṣe ojurere fun ṣoki, awọn akopọ olotitọ lori ọrọ-ọrọ tabi awọn ti o jẹ alaimọkan
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Direct Preference Optimization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Iṣapeye Ipin Ipin Awọn aidọgba
Awọn ibeere ti a beere nigbagbogbo
What is Direct Preference Optimization?
Imudara Iyanju Taara (DPO) jẹ ọna lati ṣe afiwe awọn awoṣe ede pẹlu awọn ayanfẹ eniyan laisi ikẹkọ awoṣe ẹsan lọtọ tabi ṣiṣe ikẹkọ imudara. O ṣubu opo opo gigun ti ipele olona pupọ sinu ẹyọkan, pipadanu ikẹkọ iduroṣinṣin.
Kini DPO imukuro ni akawe si RLHF ibile?
Anfani akọkọ ti DPO ni yiyọ awoṣe ere ti o fojuhan ati lupu iṣapẹẹrẹ RL, ṣiṣe eto imulo taara lori awọn orisii ayanfẹ dipo.
Awọn data wo ni apẹẹrẹ ikẹkọ DPO kan ni ninu?
DPO ṣe ikẹkọ lori awọn orisii ayanfẹ: kiakia pẹlu ọkan ti o fẹ ('yan') ati idahun ti a ko fẹ ('ti kọ').
Ipa wo ni awoṣe itọkasi ṣe ni DPO?
Itọkasi tio tutunini (eyiti o jẹ awoṣe SFT) dakọ pipadanu naa; paramita beta n ṣakoso bawo ni eto imulo ikẹkọ ṣe le gbe lati ọdọ rẹ.
Ni DPO, nibo ni 'ẹsan' naa jẹ aṣoju?
Itọjade DPO fihan pe ẹsan jẹ itọsi ni ipin iṣeeṣe log laarin eto imulo ati itọkasi, nitorinaa ko nilo awoṣe ere ti o fojuhan.
Kini paramita beta (iwọn otutu) ni iṣakoso DPO?
Beta ṣe akoso idinamọ KL ti ko tọ: beta ti o ga julọ jẹ ki eto imulo sunmọ itọkasi, beta kekere gba iyatọ diẹ sii.