Dulmar
Odds Ratio Preference Optimization (ORPO) waa hab hagaagsan oo bara qaabka luqadda hab-dhaqan wanaagsan iyo dookhyada bini'aadamka ee hal baas tababar ah. Waa arrin sababtoo ah waxay ka booddaa qaabka abaal-marinta gaarka ah ee caadiga ah iyo qaabka tixraaca, taasoo ka dhigaysa isku-habaynta mid ka jaban oo fudud.
Ikhtiyaarka Xulashada Xulashada Saamiga waa qayb ka mid ah xirmooyinka luqadda-AI ee loo isticmaalo in lagu akhriyo, lagu abuuro, lagu kala saaro, oo loo beddelo qoraalka iyo hadalka cabbir ahaan.
quusitaanka qoto dheer
ORPO, oo ay soo bandhigeen Hong, Lee, iyo Thorne sanadka 2024, waxay isku daraysaa hagaajinta la kormeerayo iyo toosinta doorbidida hal tallaabo. Inta badan dhuumaha isku toosinta ayaa marka hore SFT ku sameeya tusaalooyin wanaagsan, ka dibna waxay wadaan hab labaad sida RLHF ama DPO oo u baahan nuqul la qaboojiyey ee moodeelka (tixraac) oo lagu daray lammaane doorbidaya kaydsan. ORPO waxay meesha ka saartaa tusaalaha tixraaca gabi ahaanba. Luminta waxay ku daraysaa erey ciqaab ah ujeeddada caadiga ah ee xigta: waxay kor u qaadaysaa jaangooyooyinka moodeelku u qoondeeyo jawaabta la doortay (doorbiday) iyadoo hoos u riixaysa jaanisyada midka la diiday. Sababtoo ah waxay isticmaashaa saamiga nasiibka halkii ay ka isticmaali lahayd farqiga itimaalka log-gaaban ee xooggan, ciqaabtu waa mid fudud, marka moodeelku wuxuu bartaa inuu door bido jawaabaha wanaagsan isagoon si ba'an u iloobin jiilka faseexa ah.
Aragtida Farsamada
Luminta ORPO waa luminta iskutallaabta-entropy ee SFT oo lagu daray log-sigmoid miisaan leh oo saamiga log odds saamiga u dhexeeya jawaabaha la doortay iyo kuwa la diiday. Khasaaruhu waa siman yihiin p / (1-p), markaa saamiga ayaa isbarbar dhigaya inta badan ee moodeelku u helayo jawaabta wanaagsan iyo tan xun. Isticmaalka khayaaliga halkii laga isticmaali lahaa itimaalka ceeriin waxay ka dhigaysaa isbarbardhigga mid khafiif ah, kaas oo ka hortagaya xakamaynta xad-dhaafka ah ee calaamadaha la diiday taasoo hoos u dhigi karta qaabka aan la tixraacin.
Hagaajinta Xulashada Dookhyada Khasaarooyinka
Odds Ratio Preference Optimization (ORPO) waa hab hagaagsan oo bara qaabka luqadda hab-dhaqan wanaagsan iyo dookhyada bini'aadamka ee hal baas tababar ah. Waa arrin sababtoo ah waxay ka booddaa qaabka abaal-marinta gaarka ah ee caadiga ah iyo qaabka tixraaca, taasoo ka dhigaysa isku-habaynta mid ka jaban oo fudud. Ikhtiyaarka Xulashada Xulashada Saamiga waa qayb ka mid ah xirmooyinka luqadda-AI ee loo isticmaalo in lagu akhriyo, lagu abuuro, lagu kala saaro, oo loo beddelo qoraalka iyo hadalka cabbir ahaan. Si loo dhiso faham qoto dheer, ula dhaqan Odds Ratio Preference Optimization qaab hawleed, ma aha hal sifo: qeex natiijooyinka la rabo, cadee fikradaha, oo kala saar waxa nidaamku si kalsooni leh u qaban karo iyo waxa wali u baahan go'aan khabiir.
Ficil ahaan, kooxo xooggan oo isticmaalaya Odds Ratio Preference Optimization design waxay soo jeediyaan, soo celin, iyo dib u eegis siddo sida hal nidaam isgaarsiin oo isku dhafan. Waxay diiwaangeliyaan shuruudaha guusha ee cad, tijaabiyaan xogta dhabta ah iyo qulqulka shaqada, waxayna ku celceliyaan ku saleysan qaababka guul darrida ee la arkay halkii ay hal mar ku guuleysan lahaayeen halbeegyada. Tani waa halka fahamka aragtida uu isu beddelo karti waara oo dhan badeecada, siyaasadda, iyo hawlgallada.
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta. Isla mar ahaantaana, xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, socodka taageerada, ama natiijooyinka cilmi-baarista. Habka ugu adkeysi badan waa in la isku daro xawaaraha tijaabada iyo anshaxa maamulka: socodsiinta duuliyayaasha, qabashada caddaynta, daabacaadda go'aanka, iyo si joogto ah u cusboonaysii ilaalinta sida habdhaqanka moodeelka, filashada isticmaale, iyo shuruudaha sharciyaynta.
Saamaynta Istiraatijiyadeed
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta.
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta.
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta.
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Dhaqangelinta Adduunka-dhabta ah
Hagaajinta qaabka furan ee qaabka wada sheekaysiga 7B ee lammaane doorbidaya iyada oo aan la soo dejin nuqul tixraac ah, kala badh xusuusta GPU
Bilaw isku toosiya kaaliyaha taageerada macmiilka si uu u door bido asluub leh, jawaabaha siyaasada ku jira hal tababar halkii uu ka isticmaali lahaa SFT-kadib-DPO
Cilmi-baarayaasha isbarbar dhigaya ORPO ee ka dhanka ah DPO isla xog isku mid ah si ay u muujiyaan isbarbardhig la mid ah xisaabinta hoose
Ku-habaynta qaabka saldhiga goob gaar ah (tusaale, sharci samaynta) halkaas oo lamaanayaasha wanaagsan iyo kuwa xunba laga heli karo laakiin miisaaniyad-qaabka abaal-marintu maaha
Hababka Dhaqangelinta
Hagaajinta Xulashada Saamiga Khasaarada ficil ahaan
Hagaajinta qaabka furan ee qaabka wada sheekaysiga 7B ee lammaane doorbidaya iyada oo aan la soo dejin koobiga tixraaca labaad, kala badh xusuusta GPU.
Hagaajinta qaab sheekeysi furan oo 7B ah oo ku saabsan lammaane doorbidaya iyada oo aan la soo dejin nuqul labaad oo tixraac ah, kala badhida kooxaha xusuusta GPU caadi ahaan waxay helayaan natiijooyin wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u qaadida bini'aadamka ee kiisaska cirifka ah, oo la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada qaladka waqti ka dib.
Hagaajinta Xulashada Saamiga Khasaarada ficil ahaan
Bilaw isku toosiya kaaliyaha taageerada macmiilka si uu u door bido asluub leh, jawaabaha siyaasadda ku jira hal tababar halkii uu ka isticmaali lahaa SFT-kadib-DPO.
Bilawga isku toosiya kaaliyaha taageerada macaamiisha si uu u door bido jawaabo asluub leh, jawaabaha siyaasada ee hal tababar halkii ay ka ahaan lahaayeen SFT-kadib-Kooxaha DPO sida caadiga ah waxay helayaan natiijooyin wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u qaadida bini'aadamka ee kiisaska cirifka ah, iyo la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada qaladka waqti ka dib.
Hagaajinta Xulashada Saamiga Khasaarada ficil ahaan
Cilmi-baarayaasha isbarbar dhigaya ORPO ka dhanka ah DPO isla xog-ururinta si ay u muujiyaan isku-habboonaanta la midka ah ee xisaabinta hoose.
Cilmi-baarayaasha isbarbar dhigaya ORPO ka dhanka ah DPO isla xog isku mid ah si ay u muujiyaan is-waafajinta la midka ah ee kooxaha xisaabinta hoose waxay caadi ahaan helaan natiijooyin wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u qaadida bini'aadamka ee kiisaska cirifka ah, oo ay la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada khaladka waqti ka dib.
Hagaajinta Xulashada Saamiga Khasaarada ficil ahaan
Ku-habaynta qaabka saldhiga goob khaas ah (tusaale, sharci samaynta) halkaas oo lamaanayaasha wanaagsan iyo kuwa xunba laga heli karo laakiin miisaaniyad-qaabka abaal-marintu maaha.
Ku-habaynta qaabka aasaasiga ah ee goob gaar ah (tusaale ahaan, qorista sharciga) halkaas oo lammaane wanaagsan iyo kuwa xunba ay diyaar yihiin laakiin abaal-marin-qaab miisaaniyadeed maaha Kooxuhu inta badan waxay helayaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, waxay hayaan dariiqa kor u kaca bini'aadamka ee kiisaska cirifka ah, oo la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada qaladka waqti ka dib.
Khatarta & Dariiqyada Ilaalada
Xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, taageerada socodka, ama natiijooyinka cilmi-baarista.
Dareenka degdega ahi wuxuu abuuri karaa natiijooyin aan iswaafaqayn codsiyada la midka ah.
Xogta qoraalka xasaasiga ah ayaa laga yaabaa in la kashifo haddii kontaroolada gelitaanka ay daciif yihiin.
Qorshe Hawleedka Dhaqangelinta
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin.
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.