Dubawa
Manufa Proximal Proximal (PPO) shine ingantaccen koyo algorithm wanda ya fi alaƙa da ingantaccen tsarin harshe daga ra'ayin ɗan adam. Yana inganta manufa cikin hankali, ƙananan matakai don guje wa rashin zaman lafiya da ke addabar hanyoyin karkatar da manufofin butulci.
Haɓaka Manufofin kusanci wani ɓangare ne na tarin harshe-AI da ake amfani da shi don karantawa, ƙirƙira, rarrabuwa, da canza rubutu da magana a sikeli.
Zurfafa nutsewa
OpenAI ne ya gabatar da PPO a cikin 2017 kuma ya zama dokin aiki a bayan RLHF don tsarin kamar InstructGPT da ChatGPT. Babban ƙalubalen a cikin manufofin-gradient RL shine cewa ɗaukakawa mai girma fiye da kima na iya rushe aikin. PPO yayi magana da wannan tare da 'maƙasudin maye gurbin': yana auna nawa (ko žasa) mai yiwuwa wani aiki ya zama daidai da tsohuwar manufofin, yana ninka wannan rabo ta fa'ida (nawa aikin ya fi yadda ake tsammani), kuma yana tsara rabo zuwa ƙaramin kewayo kamar 0.8 zuwa 1.2. Wannan yana ɗaukar nisa yadda manufofin za su iya motsawa kowane sabuntawa, kiyaye koyo da kwanciyar hankali yayin da har yanzu ke ba da damar ci gaba mai ƙarfi. A cikin samfurin harshe na RLHF, 'aikin' yana haifar da alama ko amsawa, ladan yana fitowa daga samfurin lada, kuma hukuncin rarrabuwar kawuna na KL yana kiyaye ƙirar daga yin nisa sosai daga ainihin halayensa.
Fahimtar Fasaha
PPO yana haɓaka haƙiƙa da aka yanke: min (rabo * fa'ida, shirin shirin (rabo, 1-eps, 1+eps) * fa'ida), inda rabo shine yuwuwar sabon-sama-tsohon aiki. Yawancin fa'idodi ana ƙididdige su tare da Ƙimar Fa'ida Gabaɗaya da cibiyar sadarwar ƙima (mai suka). A cikin RLHF, jimlar lada ta haɗu da ƙima-samfurin lada tare da hukuncin kowane-alama ta KL akan manufar tunani, daidaita ribar lada akan kasancewa kusa da ƙirar asali.
Jagorar Inganta Manufofin Kusa
Manufa Proximal Proximal (PPO) shine ingantaccen koyo algorithm wanda ya fi alaƙa da ingantaccen tsarin harshe daga ra'ayin ɗan adam. Yana inganta manufa cikin hankali, ƙananan matakai don guje wa rashin zaman lafiya da ke addabar hanyoyin karkatar da manufofin butulci. Haɓaka Manufofin kusanci wani ɓangare ne na tarin harshe-AI da ake amfani da shi don karantawa, ƙirƙira, rarrabuwa, da canza rubutu da magana a sikeli. Don gina fahimta mai zurfi, bi da Ƙwararrun Manufofin Kusa a matsayin samfurin aiki, ba fasali ɗaya ba: ayyana sakamakon da ake so, bayyana zato, da raba abin da tsarin zai iya yi da dogaro daga abin da har yanzu yana buƙatar yanke hukunci na ƙwararru.
A aikace, ƙungiyoyi masu ƙarfi ta yin amfani da ƙirar Ƙirar Manufofin Kusa suna sawa, dawowa, da sake duba madaukai azaman tsarin sadarwa mai haɗaka. Suna rubuta ƙayyadaddun ƙa'idodin nasara, gwaji akan bayanan gaskiya da gudanawar aiki, da jujjuyawar bisa ga tsarin gazawar da aka lura maimakon cin nasara na lokaci ɗaya. Wannan shine inda fahimtar ka'idar ta juya zuwa iyawa mai dorewa a cikin samfura, manufofi, da ayyuka.
Gudun aikin harshe na iya tafiya da sauri ba tare da sadaukar da daidaito ba. A lokaci guda, abubuwan da ba a iya gani ba na iya shigar da rahotanni cikin nutsuwa, kwararar goyan baya, ko abubuwan bincike. Hanyar da ta fi dacewa ita ce haɗa saurin gwaji tare da horon gudanarwa: gudanar da matukin jirgi, kama shaida, buga rajistan ayyukan yanke shawara, da ci gaba da sabunta abubuwan tsaro kamar yadda halayen ƙira, tsammanin mai amfani, da buƙatun tsari ke tasowa.
Dabarun Tasiri
Gudun aikin harshe na iya tafiya da sauri ba tare da sadaukar da daidaito ba.
Gudun aikin harshe na iya tafiya da sauri ba tare da sadaukar da daidaito ba. A cikin ƙawance masu inganci, ana fassara wannan zuwa ƙa'idodin aiki waɗanda za a iya aunawa, iyakokin ikon mallaka, da kuma bita-da-kullin bita don ƙungiyoyi su iya haɓaka kwarin gwiwa a maimakon ɓata shakku.
Yana faɗaɗa damar shiga cikin harsuna da salon sadarwa.
Yana faɗaɗa damar shiga cikin harsuna da salon sadarwa. A cikin ƙawance masu inganci, ana fassara wannan zuwa ƙa'idodin aiki waɗanda za a iya aunawa, iyakokin ikon mallaka, da kuma bita-da-kullin bita don ƙungiyoyi su iya haɓaka kwarin gwiwa a maimakon ɓata shakku.
Ƙungiyoyi za su iya ciyar da ƙarin lokaci akan hukunci yayin da aiki da kai ke sarrafa maimaitawa.
Ƙungiyoyi za su iya ciyar da ƙarin lokaci akan hukunci yayin da aiki da kai ke sarrafa maimaitawa. A cikin ƙawance masu inganci, ana fassara wannan zuwa ƙa'idodin aiki waɗanda za a iya aunawa, iyakokin ikon mallaka, da kuma bita-da-kullin bita don ƙungiyoyi su iya haɓaka kwarin gwiwa a maimakon ɓata shakku.
Aiwatar da Gaskiyar Duniya
Ingantattun InstructGPT da ChatGPT don bin umarni da abubuwan da mutane ke so ta hanyar RLHF
Horar da wasan-wasa da jami'an sarrafa mutum-mutumi, asalin yankin PPO kafin ƙirar harshe
Rage yawan guba ko haɓaka taimako ta hanyar haɓaka ƙimar samfurin lada a ƙarƙashin ƙuntatawar KL
Haɓaka amfani da kayan aiki ko ɗabi'ar wakili mai matakai da yawa inda aka sami lada ga ƙira don kammala ayyuka daidai
Hanyoyin Aiwatarwa
Ƙaddamar da Manufofin Kusa a aikace
Kyakkyawan InstructGPT da ChatGPT don bin umarni da abubuwan da mutane ke so ta hanyar RLHF.
Instructing na gyarawa GPT da ChatGPT don bin umarni da zaɓin ɗan adam ta Ƙungiyoyin RLHF yawanci suna samun sakamako mafi kyau lokacin da suka ayyana ma'auni masu inganci a gaba, kiyaye hanyar haɓakar ɗan adam don shari'o'in ƙira, da bin diddigin nasarorin samarwa da ƙimar kuskure akan lokaci.
Ƙaddamar da Manufofin Kusa a aikace
Horar da wasan-wasa da jami'an sarrafa mutum-mutumi, asalin yankin PPO kafin ƙirar harshe.
Horar da wasan-wasa da jami'an sarrafa na'ura na robotics, yankin asali na PPO kafin ƙirar harshe Ƙungiyoyi yawanci suna samun sakamako mafi kyau lokacin da suka ayyana ƙofofin inganci a gaba, kiyaye hanyar haɓakar ɗan adam don shari'o'i, da bin duk nasarorin samarwa da ƙimar kuskure akan lokaci.
Ƙaddamar da Manufofin Kusa a aikace
Rage yawan guba ko haɓaka taimako ta hanyar haɓaka ƙimar samfurin lada a ƙarƙashin ƙuntatawar KL.
Rage yawan guba ko haɓaka taimako ta hanyar haɓaka ƙimar samfurin lada a ƙarƙashin ƙayyadaddun KL Ƙungiyoyi yawanci suna samun sakamako mafi kyau lokacin da suka ayyana ma'auni masu inganci a gaba, kiyaye hanyar haɓakar ɗan adam don ƙararraki, da bin diddigin nasarorin samarwa da ƙimar kuskure akan lokaci.
Ƙaddamar da Manufofin Kusa a aikace
Haɓaka amfani da kayan aiki ko ɗabi'ar wakili mai matakai da yawa inda aka sami lada ga ƙira don kammala ayyuka daidai.
Haɓaka amfani da kayan aiki ko halayen wakilai masu yawa inda aka sami lada ga ƙira don kammala ayyuka daidai Ƙungiyoyi yawanci suna samun sakamako mafi kyau lokacin da suka ayyana ma'auni masu inganci a gaba, kiyaye hanyar haɓakar ɗan adam don ƙararraki, da bin diddigin nasarorin samarwa da ƙimar kuskure a kan lokaci.
Hatsari & Tsare-tsare
Abubuwan da aka ruɗe suna iya shigar da rahotanni cikin nutsuwa, kwararar tallafi, ko abubuwan bincike.
Hankali na gaggawa na iya ƙirƙirar sakamako mara daidaituwa a cikin buƙatun iri ɗaya.
Za a iya fallasa bayanan rubutu mai ma'ana idan ikon samun dama yana da rauni.
Taswirar Hanya
Ƙayyade tsarin fitarwa, sautin, da ma'auni masu inganci kafin fitowa.
Ƙayyade tsarin fitarwa, sautin, da ma'auni masu inganci kafin fitowa. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.
Amsa a ƙasa tare da amintattun tushe a duk lokacin da daidaito ya shafi mahimmanci.
Amsa a ƙasa tare da amintattun tushe a duk lokacin da daidaito ya shafi mahimmanci. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.
Ajiye wurin binciken ɗan adam don abubuwan da ake samu masu girma.
Ajiye wurin binciken ɗan adam don abubuwan da ake samu masu girma. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.
Bibiyar tsarin gazawar kuma sake horar da tsokaci ko tafiyar aiki akai-akai.
Bibiyar tsarin gazawar kuma sake horar da tsokaci ko tafiyar aiki akai-akai. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.