Dubawa
Haɓaka Zaɓin Ƙarƙashin Ƙarƙashin Ƙarya (ORPO) hanya ce mai kyau mai daidaitawa wacce ke koyar da ƙirar harshe kyakkyawan ɗabi'a da abubuwan da ɗan adam ke so a cikin fasinjan horo ɗaya. Yana da mahimmanci saboda ya tsallake samfurin lada na daban na yau da kullun da samfurin tunani, yana sa daidaitawa ya fi arha da sauƙi.
Haɓaka fifikon fifikon ƙima wani ɓangare ne na tarin harshe-AI da ake amfani da shi don karantawa, ƙirƙira, rarrabuwa, da canza rubutu da magana a sikeli.
Zurfafa nutsewa
ORPO, wanda Hong, Lee, da Thorne suka gabatar a cikin 2024, yana haɗa ingantaccen daidaitawa da daidaita fifiko zuwa mataki ɗaya. Yawancin bututun daidaitawa na farko suna yin SFT akan misalai masu kyau, sannan suna gudanar da hanya ta biyu kamar RLHF ko DPO waɗanda ke buƙatar daskararre kwafin ƙirar (wani tunani) da nau'ikan zaɓin zaɓi da aka adana. ORPO yana cire samfurin tunani gaba ɗaya. Asararta tana ƙara wa'adin hukunci ga daidaitaccen maƙasudin alama na gaba: yana ɗaga ƙima da ƙirar ke ba da amsa ga zaɓin da aka zaɓa (wanda aka fi so) yayin turawa ƙasa da rashin daidaito na wanda aka ƙi. Saboda yana amfani da rabon rashin daidaituwa maimakon tazarar yuwuwar log mai ƙarfi, hukuncin yana da laushi, don haka ƙirar ta koyi fifita amsoshi masu kyau ba tare da mantawa da tsararrun tsararraki ba.
Fahimtar Fasaha
Asarar ORPO ita ce asarar giciye-entropy ta SFT tare da log-sigmoid mai nauyi na rabon rashin daidaito tsakanin zaɓaɓɓu da martanin da aka ƙi. Rashin daidaituwa daidai p / (1-p), don haka rabo ya kwatanta yadda mafi kusantar samfurin ya sami amsa mai kyau da mara kyau. Yin amfani da rashin daidaituwa maimakon yuwuwar ɗanyen yana riƙe da ɗanɗano mai ɗanɗano, wanda ke hana wuce gona da iri na alamun da aka ƙi wanda zai iya ƙasƙantar da samfurin da ba a magana ba.
Ƙwararren Ƙwararrun Ƙwararrun Ƙwararrun Ƙwararru
Haɓaka Zaɓin Ƙarƙashin Ƙarƙashin Ƙarya (ORPO) hanya ce mai kyau mai daidaitawa wacce ke koyar da ƙirar harshe kyakkyawan ɗabi'a da abubuwan da ɗan adam ke so a cikin fasinjan horo ɗaya. Yana da mahimmanci saboda ya tsallake samfurin lada na daban na yau da kullun da samfurin tunani, yana sa daidaitawa ya fi arha da sauƙi. Haɓaka fifikon fifikon ƙima wani ɓangare ne na tarin harshe-AI da ake amfani da shi don karantawa, ƙirƙira, rarrabuwa, da canza rubutu da magana a sikeli. Don haɓaka fahimta mai zurfi, bi da Ƙaƙwalwar Ƙarfafa fifiko a matsayin ƙirar aiki, ba fasali ɗaya ba: ayyana sakamakon da ake so, fayyace zato, da raba abin da tsarin zai iya yi da dogaro daga abin da har yanzu yana buƙatar yanke hukunci na ƙwararru.
A aikace, ƙungiyoyi masu ƙarfi da ke amfani da Ƙirar Ƙirar Ƙirar Ƙirar Ƙirar Ƙira tana sawa, dawowa, da sake duba madaukai azaman tsarin sadarwa mai haɗaka. Suna rubuta ƙayyadaddun ƙa'idodin nasara, gwaji akan bayanan gaskiya da gudanawar aiki, da jujjuyawar bisa ga tsarin gazawar da aka lura maimakon cin nasara na lokaci ɗaya. Wannan shine inda fahimtar ka'idar ta juya zuwa iyawa mai dorewa a cikin samfura, manufofi, da ayyuka.
Gudun aikin harshe na iya tafiya da sauri ba tare da sadaukar da daidaito ba. A lokaci guda, abubuwan da ba a iya gani ba na iya shigar da rahotanni cikin nutsuwa, kwararar goyan baya, ko abubuwan bincike. Hanyar da ta fi dacewa ita ce haɗa saurin gwaji tare da horon gudanarwa: gudanar da matukin jirgi, kama shaida, buga rajistan ayyukan yanke shawara, da ci gaba da sabunta abubuwan tsaro kamar yadda halayen ƙira, tsammanin mai amfani, da buƙatun tsari ke tasowa.
Dabarun Tasiri
Gudun aikin harshe na iya tafiya da sauri ba tare da sadaukar da daidaito ba.
Gudun aikin harshe na iya tafiya da sauri ba tare da sadaukar da daidaito ba. A cikin ƙawance masu inganci, ana fassara wannan zuwa ƙa'idodin aiki waɗanda za a iya aunawa, iyakokin ikon mallaka, da kuma bita-da-kullin bita don ƙungiyoyi su iya haɓaka kwarin gwiwa a maimakon ɓata shakku.
Yana faɗaɗa damar shiga cikin harsuna da salon sadarwa.
Yana faɗaɗa damar shiga cikin harsuna da salon sadarwa. A cikin ƙawance masu inganci, ana fassara wannan zuwa ƙa'idodin aiki waɗanda za a iya aunawa, iyakokin ikon mallaka, da kuma bita-da-kullin bita don ƙungiyoyi su iya haɓaka kwarin gwiwa a maimakon ɓata shakku.
Ƙungiyoyi za su iya ciyar da ƙarin lokaci akan hukunci yayin da aiki da kai ke sarrafa maimaitawa.
Ƙungiyoyi za su iya ciyar da ƙarin lokaci akan hukunci yayin da aiki da kai ke sarrafa maimaitawa. A cikin ƙawance masu inganci, ana fassara wannan zuwa ƙa'idodin aiki waɗanda za a iya aunawa, iyakokin ikon mallaka, da kuma bita-da-kullin bita don ƙungiyoyi su iya haɓaka kwarin gwiwa a maimakon ɓata shakku.
Aiwatar da Gaskiyar Duniya
Kyakkyawan daidaita samfurin taɗi na 7B mai buɗewa akan nau'ikan zaɓin zaɓi ba tare da loda kwafin tunani na biyu ba, rage ƙwaƙwalwar GPU
Farawa da ke daidaita mataimaki na goyon bayan abokin ciniki don fifita ladabi, amsoshi kan manufofi a cikin horo guda ɗaya maimakon SFT-sai-DPO.
Masu bincike suna kwatanta ORPO da DPO akan saitin bayanai iri ɗaya don nuna kwatankwacin daidaitawa tare da ƙananan ƙididdigewa.
Daidaita ƙirar tushe zuwa yanki na musamman (misali, tsarar doka) inda akwai nau'i-nau'i masu kyau da mara kyau amma kasafin ƙirar lada ba
Hanyoyin Aiwatarwa
Haɓaka fifikon rabon rashin daidaituwa a aikace
Kyakkyawan daidaita samfurin taɗi na 7B mai buɗewa akan nau'ikan zaɓin zaɓi ba tare da loda kwafin tunani na biyu ba, rage ƙwaƙwalwar GPU.
Kyakkyawan daidaita samfurin hira na 7B mai buɗewa akan nau'ikan zaɓin zaɓi ba tare da loda kwafin tunani na biyu ba, rage ƙungiyoyin ƙwaƙwalwar GPU yawanci suna samun sakamako mafi kyau lokacin da suka ayyana ma'auni masu inganci a gaba, kiyaye hanyar haɓakar ɗan adam don ƙararraki, da bin duk nasarorin samarwa da ƙimar kuskure akan lokaci.
Haɓaka fifikon rabon rashin daidaituwa a aikace
Farawa da ke daidaita mataimaki na goyon bayan abokin ciniki don fifita ladabi, amsoshi kan manufofi a cikin horo guda ɗaya maimakon SFT-sai-DPO.
Farawa da ke daidaita mataimaki na goyon bayan abokin ciniki don fifita ladabi, amsoshi kan manufofi a cikin horo guda ɗaya maimakon ƙungiyoyin SFT-sa'an nan-DPO yawanci suna samun sakamako mafi kyau lokacin da suka ayyana ma'auni masu inganci a gaba, kiyaye hanyar haɓakar ɗan adam don ƙararraki, da bin diddigin nasarorin samarwa da ƙimar kuskure akan lokaci.
Haɓaka fifikon rabon rashin daidaituwa a aikace
Masu bincike suna kwatanta ORPO da DPO akan saitin bayanai iri ɗaya don nuna daidaitaccen daidaitawa tare da ƙananan ƙididdigewa.
Masu binciken da ke kwatanta ORPO da DPO akan saitin bayanai iri ɗaya don nuna daidaitaccen daidaitawa tare da ƙananan Ƙungiyoyin ƙididdigewa yawanci suna samun sakamako mafi kyau lokacin da suka ayyana ma'auni masu inganci a gaba, kiyaye hanyar haɓakar ɗan adam don shari'o'in gefe, da bin duk nasarorin samarwa da ƙimar kuskure akan lokaci.
Haɓaka fifikon rabon rashin daidaituwa a aikace
Daidaita ƙirar tushe zuwa yanki na musamman (misali, tsara doka) inda akwai nau'i-nau'i masu kyau da mara kyau amma kasafin ƙirar lada ba ya nan.
Daidaita samfurin tushe zuwa yanki na musamman (misali, tsarar doka) inda akwai nau'i-nau'i masu kyau da mara kyau amma tsarin tsarin lada ba Ƙungiyoyin yawanci suna samun sakamako mafi kyau lokacin da suka ayyana ma'auni masu inganci a gaba, kiyaye hanyar haɓakar ɗan adam don shari'o'in gefen, da kuma bin diddigin nasarorin samarwa da ƙimar kuskure akan lokaci.
Hatsari & Tsare-tsare
Abubuwan da aka ruɗe suna iya shigar da rahotanni cikin nutsuwa, kwararar tallafi, ko abubuwan bincike.
Hankali na gaggawa na iya ƙirƙirar sakamako mara daidaituwa a cikin buƙatun iri ɗaya.
Za a iya fallasa bayanan rubutu mai ma'ana idan ikon samun dama yana da rauni.
Taswirar Hanya
Ƙayyade tsarin fitarwa, sautin, da ma'auni masu inganci kafin fitowa.
Ƙayyade tsarin fitarwa, sautin, da ma'auni masu inganci kafin fitowa. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.
Amsa a ƙasa tare da amintattun tushe a duk lokacin da daidaito ya shafi mahimmanci.
Amsa a ƙasa tare da amintattun tushe a duk lokacin da daidaito ya shafi mahimmanci. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.
Ajiye wurin binciken ɗan adam don abubuwan da ake samu masu girma.
Ajiye wurin binciken ɗan adam don abubuwan da ake samu masu girma. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.
Bibiyar tsarin gazawar kuma sake horar da tsokaci ko tafiyar aiki akai-akai.
Bibiyar tsarin gazawar kuma sake horar da tsokaci ko tafiyar aiki akai-akai. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.