Iṣe deede Gigun ni Iṣapeye Iyanfẹ
Iṣe deede gigun n ṣatunṣe awọn ibi-afẹde-tuntunwọn ki awọn awoṣe dẹkun gbigba ifọwọsi nikan nipa kikọ awọn idahun to gun.
Akopọ
O ṣe pataki nitori awọn ifihan agbara ẹbun ti a ko ṣe atunṣe Titari awọn chatbots si verbose, awọn idahun padded dipo awọn ti o dara julọ.
Jin Dive
Nigbati awọn awoṣe ba ni ibamu pẹlu awọn ọna bii RLHF tabi DPO, wọn kọ ẹkọ lati awọn afiwera nibiti eniyan (tabi awoṣe ẹsan) ti mu ‘dara julọ’ ti awọn idahun meji. Kokoro itẹramọṣẹ ni pe awọn idahun gigun maa n fẹ paapaa nigba ti wọn ko dara julọ, nitorinaa awoṣe kọ ọna abuja: jẹ ọrọ. Ilọ deede deede koju eyi. Ninu DPO ere ti ko tọ jẹ apao ti awọn iyatọ ti o ṣeeṣe log-token, eyiti o dagba ni iṣelọpọ pẹlu gigun. Awọn iyatọ gẹgẹbi ipari-deede DPO ati SimPO pin ere yẹn nipasẹ nọmba awọn ami-ami, igbelewọn lori aropin-ami kan dipo. Abajade jẹ awọn awoṣe ti o duro ṣoki ati lori aaye kuku ju fifun awọn idahun si ibi-afẹde naa.
Imọ-imọ-ẹrọ
Ẹsan alaiṣedeede DPO jẹ ipin-iwọle laarin aifwy ati awọn ilana itọka, ti a ṣe akopọ lori gbogbo ami-ami ninu idahun. Nitoripe ami-ami kọọkan n ṣafikun ọrọ miiran (nigbagbogbo rere), awọn iwọn ere aise pẹlu gigun ọkọọkan, iṣapeye iṣapeye si awọn ipari gigun. SimPO ju awoṣe itọkasi silẹ ati lo apapọ iṣeeṣe log-iṣeeṣe fun ami kan bi ẹsan, pẹlu ala ẹsan ibi-afẹde. Pipin nipasẹ gigun yọ anfani ipari ẹrọ kuro, nitorinaa awọn gradients ayanfẹ ṣe afihan didara kuku ju kika ọrọ lọ.
Ipa Ilana
Awọn ipinnu diẹ sii
O ṣe iranlọwọ fun ọ lati ya sọtọ awọn iṣeduro imọ-ẹrọ lati ede tita.
Iye owo ati isuna
O le beere awọn ibeere imuse to dara julọ ṣaaju lilo owo tabi akoko.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn ẹgbẹ pẹlu oye pinpin ṣe ọja to dara julọ, eto imulo, ati awọn ipinnu ikẹkọ.
Ojo iwaju ti Iṣe deede Gigun ni Iṣapeye Iyanfẹ
Reti iṣakoso gigun lati di koko boṣewa kuku ju ironu lẹhin. Awọn oniwadi n ṣajọpọ deede gigun gigun pẹlu awọn ijiya gigun ti o fojuhan, awọn ere ipari-ipari, ati awọn suites igbelewọn ti o mu gigun ipari idahun mu igbagbogbo lati wiwọn awọn anfani didara otitọ. Bii awọn awoṣe ere ṣe dara julọ ni iranran ojuṣaaju iṣojuuwọn, awọn opo gigun titotọ yoo ṣe ijabọ awọn oṣuwọn bori-ipari nipasẹ aiyipada, ati pe awọn olumulo yoo ni iṣakoso ti o dara julọ lori bii terse tabi ṣe alaye awọn idahun awoṣe yẹ ki o jẹ.
Real-World imuse
Ṣiṣatunṣe oluranlọwọ atilẹyin alabara pẹlu SimPO nitorinaa o funni ni agaran, awọn idahun deede dipo awọn oju-iwe padded ti o kan wo ni kikun.
Ijabọ 'oṣuwọn win iṣakoso gigun' lori AlpacaEval 2 lati ṣafihan awoṣe ti ilọsiwaju nitootọ ju ki o kan ni iwiregbe.
Ṣafikun deede ipari gigun si DPO nigba titọ-tunse awoṣe ifaminsi kan nitoribẹẹ o da awọn snippets to peye pada, kii ṣe igbomikana bloated.
Ṣiṣayẹwo awoṣe ẹsan kan ti o ṣe iṣiro awọn arosọ gigun ni ọna ti o ga julọ, lẹhinna aibikita rẹ ṣaaju lilo rẹ lati ṣe deede oluranlọwọ kikọ.
Awọn ewu & Awọn ọna iṣọ
Awọn ẹgbẹ oriṣiriṣi le lo ọrọ kanna ni oriṣiriṣi, nitorinaa ṣalaye iwọn ni kutukutu.
Awọn aṣepari le wo lagbara lakoko ti iṣẹ-aye gidi ko ṣe deede.
Aibikita didara data ati awọn ero igbelewọn nigbagbogbo ṣẹda awọn abajade ẹlẹgẹ.
Ilana Ilana imuse
Bẹrẹ pẹlu itumọ-ede itele ti abajade ti o nilo.
Mu metiriki aṣeyọri kan ati ipo ikuna kan ṣaaju idanwo.
Ṣiṣe awakọ kekere kan pẹlu data aṣoju, kii ṣe eto demo didan.
Iwe-ipamọ nibiti Iṣe deede Gigun ni Iṣapeye Ifẹ ṣe iranlọwọ ati nibiti awọn ọna ti o rọrun dara julọ.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Length Normalization in Preference Optimization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Iṣapeye Ipin Ipin Awọn aidọgba
Awọn ibeere ti a beere nigbagbogbo
Kí ni Length Normalization nínú Ààyò Optimization?
Iṣe deede gigun n ṣatunṣe awọn ibi-afẹde-tuntunwọn ki awọn awoṣe dẹkun gbigba ifọwọsi nikan nipa kikọ awọn idahun to gun. O ṣe pataki nitori awọn ifihan agbara ere ti ko ni atunṣe Titari awọn iwiregbe si ọna ọrọ-ọrọ, awọn idahun fifẹ dipo awọn ti o dara julọ nitootọ.
Iwa aifẹ wo ni isọdọtun gigun ni DPO ni akọkọ ṣe ifọkansi lati ṣe idiwọ?
Ẹsan alaiṣedeede DPO dagba pẹlu kika ami, nitorinaa laisi awọn awoṣe deede kọ ẹkọ pe nirọrun jijẹ ọrọ-ọrọ diẹ sii duro lati ṣẹgun awọn afiwera ayanfẹ.
Kini idi ti ẹsan alaiṣedeede DPO maa n pọ si pẹlu ipari esi?
Ẹsan ti ko tọ ni akopọ awọn ipin iṣeeṣe log-iṣeeṣe kọja gbogbo aami, nitorinaa awọn ami diẹ sii ni gbogbogbo tumọ si ere lapapọ lapapọ.
Bawo ni SimPO ṣe koju irẹjẹ gigun?
Awọn idahun SimPO nipasẹ apapọ wọn (ipari-deede) iṣeeṣe log-iṣeeṣe ati ṣafikun ala ẹsan ibi-afẹde kan, yiyọ anfani gigun ẹrọ kuro.
Iṣe igbelewọn wo ni o ṣe iranlọwọ jẹrisi awoṣe ti o ni ilọsiwaju ni didara ju gigun nikan lọ?
Oṣuwọn win iṣakoso gigun (bii AlpacaEval 2) ṣatunṣe fun ipari idahun nitorina awọn anfani ṣe afihan didara, kii ṣe ọrọ-ọrọ.