Nchịkọta
Odds Ratio Preference Optimization (ORPO) bụ usoro nlegharị anya nke ọma na-akuzi ụdị omume ọma na mmasị mmadụ n'otu ngafe ọzụzụ. Ọ dị mkpa n'ihi na ọ na-amapụ ụdị ụgwọ ọrụ dị iche iche yana ụdị ntụaka, na-eme ka nhazi ya dị ọnụ ala ma dị mfe.
Nkwalite Mmasị Ratio Odds bụ akụkụ nke nchịkọta asụsụ-AI a na-eji agụ, mepụta, nhazi, ma gbanwee ederede na okwu n'ọ̀tụ̀tụ̀.
Ime miri emi
ORPO, nke Hong, Lee na Thorne webatara n'afọ 2024, na-ejikọta nhazigharị ọma na ntinye mmasị n'ime otu nzọụkwụ. Ọtụtụ pipeline alignment na-ebu ụzọ mee SFT na ezigbo ọmụmaatụ, wee mee usoro nke abụọ dị ka RLHF ma ọ bụ DPO nke chọrọ nnomi oyi oyi nke ụdị (ntụaka) gbakwunyere ụzọ abụọ mmasị echekwara. ORPO na-ewepụ ụdị ntụaka kpamkpam. Ọnwụ ya na-agbakwụnye okwu ntaramahụhụ n'ụkpụrụ na-esote akara ebumnobi: ọ na-ebuli ohere nke ihe nlereanya na-enye nzaghachi nke ahọpụtara (ọ masịrị) ka ọ na-eweda ohere nke onye jụrụ ajụ. N'ihi na ọ na-eji oke erughị eru kama inwe ọdịiche log-probability siri ike, ntaramahụhụ ahụ dị nro, yabụ ihe nlereanya ahụ na-amụta ịkwado azịza dị mma na-echefughị ọgbọ nwere ọfụma.
Nghọta nka nka
Ọnwụ ORPO bụ SFT cross-entropy mfu gbakwunyere log-sigmoid dị arọ nke oke log odds n'etiti nzaghachi ahọpụtara na jụrụ. Odds nhata p / (1-p), yabụ nha nha na-atụnyere etu ihe nlereanya ahụ ga-esi nweta azịza dị mma yana nke ọjọọ. Iji ọgbaghara kama ịbụ ihe puru omume na-eme ka ọdịiche ahụ dị nro, nke na-egbochi oke mkpochapụ nke akara ngosi ndị a jụrụ ajụ nke nwere ike iweda ụdị enweghị atụ.
Ịmalite Mmasị Mmasị Ọdịmma
Odds Ratio Preference Optimization (ORPO) bụ usoro nlegharị anya nke ọma na-akuzi ụdị omume ọma na mmasị mmadụ n'otu ngafe ọzụzụ. Ọ dị mkpa n'ihi na ọ na-amapụ ụdị ụgwọ ọrụ dị iche iche yana ụdị ntụaka, na-eme ka nhazi ya dị ọnụ ala ma dị mfe. Nkwalite Mmasị Ratio Odds bụ akụkụ nke nchịkọta asụsụ-AI a na-eji agụ, mepụta, nhazi, ma gbanwee ederede na okwu n'ọ̀tụ̀tụ̀. Iji wulite nghọta miri emi, na-emeso Optimization Ratio Ratio Optimization dị ka ihe nlereanya na-arụ ọrụ, ọ bụghị otu njirimara: kọwaa nsonaazụ achọrọ, dokwuo anya echiche, ma kewapụ ihe sistemụ ahụ nwere ike ime nke ọma na ihe ka chọrọ mkpebi ndị ọkachamara.
Na omume, otu ndị siri ike na-eji Nwepụta Mmasị Mmasị Odds Ratio na-akpalite, iweghachite, na nyocha loops dị ka otu usoro nkwurịta okwu agbakwunyere. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ghọọ ike na-adịgide adịgide n'ofe ngwaahịa, amụma na arụmọrụ.
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike. N'otu oge ahụ, eziokwu ndị nwere mgbagwoju anya nwere ike tinye nwayọ nwayọ tinye akụkọ, ntinye nkwado, ma ọ bụ nsonaazụ nyocha. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.
Mmetụta atụmatụ
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike.
Usoro ọrụ asụsụ nwere ike ịga ngwa ngwa n'achụghị nkwụsi ike. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ọ na-agbasawanye ohere n'ofe asụsụ na ụdị nzikọrịta ozi.
Ọ na-agbasawanye ohere n'ofe asụsụ na ụdị nzikọrịta ozi. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Ndị otu nwere ike itinyekwu oge na ikpe ebe akpaaka na-ejikwa nkwughachi.
Ndị otu nwere ike itinyekwu oge na ikpe ebe akpaaka na-ejikwa nkwughachi. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.
Mmejuputa n'ezie n'ụwa
Idozi ụdị nkata 7B mepere emepe na ụzọ abụọ mmasị na-ebugo akwụkwọ ntụaka nke abụọ, na-ebelata ebe nchekwa GPU.
Mmalite na-akwado onye na-enyere ndị ahịa aka ịhọrọ nkwanye ùgwù na azịza amụma n'otu ọsọ ọzụzụ kama SFT-mgbe ahụ-DPO
Ndị nyocha na-atụnyere ORPO megide DPO n'otu dataset iji gosi ndakọrịta yiri ya na kọmpụta dị ala.
Ịmegharị ụkpụrụ ntọala na ngalaba pụrụ iche (dịka ọmụmaatụ, idepụta iwu) ebe ụzọ abụọ dị mma na nke ọjọọ dị mana mmefu ego-ụgwọ ọrụ abụghị
Usoro mmejuputa
Nwelite Mmasị oke ọdịghị mma na omume
Idozi ụdị nkata 7B mepere emepe na ụzọ abụọ mmasị na-ebugo akwụkwọ ntụaka nke abụọ, na-ebelata ebe nchekwa GPU.
Idozi nke ọma ụdị nkata 7B mepere emepe na ụzọ abụọ mmasị na-ebughị akwụkwọ ntụaka nke abụọ, ibelata ndị otu ebe nchekwa GPU na-enwetakarị nsonaazụ kacha mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka ikpe ọnụ, wee soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.
Nwelite Mmasị oke ọdịghị mma na omume
Mmalite na-ahazi onye na-enyere ndị ahịa aka ka ọ ahọrọ nkwanye ùgwù na azịza amụma n'otu ọsọ ọzụzụ kama SFT-mgbe ahụ-DPO.
Mmalite na-akwado onye na-enyere ndị ahịa aka ịhọrọ nkwanye ùgwù, azịza amụma n'otu ọzụzụ ọzụzụ kama otu SFT-mgbe ahụ-DPO na-enweta nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-echekwa ụzọ mmụba mmadụ maka ikpe ọnụ, ma soro ma uru nrụpụta na ụgwọ njehie n'oge.
Nwelite Mmasị oke ọdịghị mma na omume
Ndị nyocha na-atụnyere ORPO megide DPO n'otu dataset iji gosi nkwekọ yiri ya na kọmpụta dị ala.
Ndị na-eme nchọpụta na-atụnyere ORPO megide DPO n'otu dataset iji gosipụta nkwekọ yiri nke ahụ na ndị otu mgbako dị ala na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-edebe ụzọ mmụba mmadụ maka ikpe ikpe, ma soro ma uru mmepụta na ụgwọ njehie na oge.
Nwelite Mmasị oke ọdịghị mma na omume
Ịmegharị ụkpụrụ ntọala gaa na ngalaba pụrụ iche (dịka ọmụmaatụ, idepụta iwu) ebe ezigbo ihe atụ dị mma na nke ọjọọ dị mana mmefu ego nlereanya abụghị.
Ịmeghari ụkpụrụ ntọala na ngalaba pụrụ iche (dịka ọmụmaatụ, idepụta iwu) ebe ụzọ abụọ dị mma na nke ọjọọ dị mana ụgwọ ọrụ-ụdị mmefu ego abụghị otu ìgwè na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-edebe ụzọ mmụba mmadụ maka ikpe ikpe, ma soro ma uru mmepụta na ụgwọ njehie na oge.
Ihe ize ndụ & okporo ụzọ nche
Eziokwu ndị e chepụtara echepụta nwere ike jiri nwayọ tinye akụkọ, nkwado nkwado, ma ọ bụ nsonaazụ nyocha.
Mmetụta ngwa ngwa nwere ike ịmepụta nsonaazụ na-ekwekọghị ekwekọ n'ofe arịrịọ ndị yiri ya.
Enwere ike ikpughe data ederede nwere mmetụta ma ọ bụrụ na njikwa ohere adịghị ike.
Map mmejuputa
Kọwaa usoro mmepụta, ụda, na ụkpụrụ ịdịmma tupu ibugharị.
Kọwaa usoro mmepụta, ụda, na ụkpụrụ ịdịmma tupu ibugharị. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Weghachite nzaghachi site na isi mmalite ntụkwasị obi mgbe ọ bụla izi ezi dị mkpa.
Weghachite nzaghachi site na isi mmalite ntụkwasị obi mgbe ọ bụla izi ezi dị mkpa. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Debe ebe nleba anya mmadụ maka mpụta dị elu.
Debe ebe nleba anya mmadụ maka mpụta dị elu. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.
Sochie ụkpụrụ ọdịda ma na-azụghachi mkpali ma ọ bụ usoro ọrụ mgbe niile.
Sochie ụkpụrụ ọdịda ma na-azụghachi mkpali ma ọ bụ usoro ọrụ mgbe niile. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.