Dubawa
Dokokin sikelin Chinchilla, daga DeepMind a cikin 2022, sun nuna cewa galibin manyan nau'ikan harshe ba su da kyau sosai: don ƙayyadadden lissafin kasafin kuɗi, yakamata ku daidaita girman samfurin da bayanan horo daidai gwargwado. Yana da mahimmanci saboda ya sake fayyace ma'anar girman samfurin 'mafi kyau' kuma ya sake fasalin yadda labs ke kashe lissafin.
Dokokin Sikeli na Chinchilla wani ɓangare ne na tarin harshe-AI da ake amfani da shi don karantawa, ƙirƙira, rarrabuwa, da canza rubutu da magana a sikeli.
Zurfafa nutsewa
Kafin Chinchilla, yanayin shine gina ƙira mafi girma (kamar 175B-parameter GPT-3) yayin da ake horarwa akan ƙaramin adadin bayanai. DeepMind ya horar da sama da nau'ikan 400 a cikin masu girma dabam da kuma kasafin kuɗi na bayanai, sannan ya dace da masu lankwasa tsinkayar asara azaman aikin sigogi da alamu ƙarƙashin ƙayyadaddun lissafin ƙididdiga (FLOP). Neman su: sigogi da alamun horo yakamata su daidaita tare, kusan kashi 1-zuwa-1, yana nuna kusan alamomi 20 na bayanan horo kowace siga. Don tabbatar da hakan, sun horar da Chinchilla, samfurin siga na 70B akan alamomin tiriliyan 1.4, wanda ya zarce Gopher mai girman 280B-parameter mafi girma duk da yin amfani da lissafi iri ɗaya, saboda an horar da shi akan ƙarin bayanai.
Fahimtar Fasaha
Dokokin sun fito ne daga dacewa da aikin hasarar ma'auni L(N, D) inda N shine sigogi kuma D alama ce, gami da rashin lalacewa, girman ƙira, da sharuddan girman bayanai. Rage asarar da ke ƙarƙashin ƙayyadaddun ƙididdigewa (ƙididdigar ta kusan daidai da lokutan N sau D) yana haifar da sakamakon cewa mafi kyawun N da D duka suna girma azaman ƙarfin ƙididdigewa tare da ma'auni iri ɗaya, don haka ƙididdige mafi kyawun rabo yana zama kusa da alamu 20 a kowace siga.
Jagorar Dokokin Sikelin Chinchilla
Dokokin sikelin Chinchilla, daga DeepMind a cikin 2022, sun nuna cewa galibin manyan nau'ikan harshe ba su da kyau sosai: don ƙayyadadden lissafin kasafin kuɗi, yakamata ku daidaita girman samfurin da bayanan horo daidai gwargwado. Yana da mahimmanci saboda ya sake fayyace ma'anar girman samfurin 'mafi kyau' kuma ya sake fasalin yadda labs ke kashe lissafin. Dokokin Sikeli na Chinchilla wani ɓangare ne na tarin harshe-AI da ake amfani da shi don karantawa, ƙirƙira, rarrabuwa, da canza rubutu da magana a sikeli. Don gina zurfin fahimta, kula da Dokokin Scaling na Chinchilla azaman samfurin aiki, ba sifa ɗaya ba: ayyana sakamakon da ake so, fayyace zato, da raba abin da tsarin zai iya yi da dogaro daga abin da har yanzu ke buƙatar yanke hukunci na ƙwararru.
A aikace, ƙungiyoyi masu ƙarfi da ke amfani da Dokokin Scaling Chinchilla suna sawa, dawo da, da sake duba madaukai azaman tsarin sadarwa mai haɗaɗɗiya. Suna rubuta ƙayyadaddun ƙa'idodin nasara, gwaji akan bayanan gaskiya da gudanawar aiki, da jujjuyawar bisa ga tsarin gazawar da aka lura maimakon cin nasara na lokaci ɗaya. Wannan shine inda fahimtar ka'idar ta juya zuwa iyawa mai dorewa a cikin samfura, manufofi, da ayyuka.
Gudun aikin harshe na iya tafiya da sauri ba tare da sadaukar da daidaito ba. A lokaci guda, abubuwan da ba a iya gani ba na iya shigar da rahotanni cikin nutsuwa, kwararar goyan baya, ko abubuwan bincike. Hanyar da ta fi dacewa ita ce haɗa saurin gwaji tare da horon gudanarwa: gudanar da matukin jirgi, kama shaida, buga rajistan ayyukan yanke shawara, da ci gaba da sabunta abubuwan tsaro kamar yadda halayen ƙira, tsammanin mai amfani, da buƙatun tsari ke tasowa.
Dabarun Tasiri
Gudun aikin harshe na iya tafiya da sauri ba tare da sadaukar da daidaito ba.
Gudun aikin harshe na iya tafiya da sauri ba tare da sadaukar da daidaito ba. A cikin ƙawance masu inganci, ana fassara wannan zuwa ƙa'idodin aiki waɗanda za a iya aunawa, iyakokin ikon mallaka, da kuma bita-da-kullin bita don ƙungiyoyi su iya haɓaka kwarin gwiwa a maimakon ɓata shakku.
Yana faɗaɗa damar shiga cikin harsuna da salon sadarwa.
Yana faɗaɗa damar shiga cikin harsuna da salon sadarwa. A cikin ƙawance masu inganci, ana fassara wannan zuwa ƙa'idodin aiki waɗanda za a iya aunawa, iyakokin ikon mallaka, da kuma bita-da-kullin bita don ƙungiyoyi su iya haɓaka kwarin gwiwa a maimakon ɓata shakku.
Ƙungiyoyi za su iya ciyar da ƙarin lokaci akan hukunci yayin da aiki da kai ke sarrafa maimaitawa.
Ƙungiyoyi za su iya ciyar da ƙarin lokaci akan hukunci yayin da aiki da kai ke sarrafa maimaitawa. A cikin ƙawance masu inganci, ana fassara wannan zuwa ƙa'idodin aiki waɗanda za a iya aunawa, iyakokin ikon mallaka, da kuma bita-da-kullin bita don ƙungiyoyi su iya haɓaka kwarin gwiwa a maimakon ɓata shakku.
Aiwatar da Gaskiyar Duniya
DeepMind's 70B-parameter Chinchilla yana bugun 280B Gopher akan ma'auni ta amfani da ƙididdiga daidai, ta hanyar horarwa akan ƙarin bayanai.
Ƙungiyoyi masu ba da jagoranci don yin kasafin kuɗi kusan alamun horo 20 a kowace siga lokacin da suke tsara ƙirar ƙira.
Tabbatar da ƙarami, samfura masu wadatar bayanai kamar LLAMA waɗanda ke da arha don aiki a lokacin ƙididdigewa
Ƙididdiga ko ƙirar da aka tsara ba a 'ƙasa horo' kuma zai amfana da ƙarin bayanai fiye da ƙarin sigogi
Hanyoyin Aiwatarwa
Dokokin Sikelin Chinchilla a aikace
DeepMind's 70B-parameter Chinchilla yana bugun 280B Gopher akan ma'auni ta amfani da lissafi daidai, ta hanyar horarwa akan ƙarin bayanai.
DeepMind's 70B-parameter Chinchilla yana bugun 280B Gopher akan ma'auni ta amfani da daidaitattun ƙididdigewa, ta horarwa akan ƙarin bayanai Ƙungiyoyi yawanci suna samun sakamako mafi kyau lokacin da suka ayyana ma'auni masu inganci a gaba, kiyaye hanyar haɓakar ɗan adam don ƙararraki, da bin diddigin nasarorin samarwa da ƙimar kuskure akan lokaci.
Dokokin Sikelin Chinchilla a aikace
Taimakawa ƙungiyoyi don yin kasafin kuɗi kusan alamun horo 20 a kowace siga lokacin da suke tsara ƙirar ƙira.
Ƙungiyoyin jagoranci don yin kasafin kuɗi kusan alamomin horo 20 a kowace siga lokacin da suke tsara samfurin ƙira Ƙungiyoyi yawanci suna samun sakamako mafi kyau lokacin da suka ayyana ƙofofin inganci a gaba, kiyaye hanyar haɓakar ɗan adam don shari'o'i, da bin duk nasarorin samarwa da ƙimar kuskure akan lokaci.
Dokokin Sikelin Chinchilla a aikace
Tabbatar da ƙarami, samfura masu wadatar bayanai kamar LLAMA waɗanda ke da arha don aiki a lokacin ƙididdigewa.
Tabbatar da ƙarami, samfura masu wadatar bayanai kamar LLAMA waɗanda ke da arha don gudana a lokacin ƙididdigewa Ƙungiyoyi yawanci suna samun sakamako mafi kyau lokacin da suka ayyana ƙofofin inganci a gaba, kiyaye hanyar haɓakar ɗan adam don shari'o'i, da bin duk nasarorin samarwa da farashi na kuskure akan lokaci.
Dokokin Sikelin Chinchilla a aikace
Ƙididdiga ko ƙirar da aka tsara ba a 'ƙasa horo' kuma zai amfana da ƙarin bayanai fiye da ƙarin sigogi.
Ƙididdiga ko samfurin da aka tsara ya kasance 'ba a horar da shi' kuma zai amfana da ƙarin bayanai fiye da ƙarin sigogi Ƙungiyoyi yawanci suna samun sakamako mafi kyau lokacin da suka ayyana ma'auni masu inganci a gaba, kiyaye hanyar haɓakar ɗan adam don shari'o'i, da bin duk nasarorin samarwa da ƙimar kuskure a kan lokaci.
Hatsari & Tsare-tsare
Abubuwan da aka ruɗe suna iya shigar da rahotanni cikin nutsuwa, kwararar tallafi, ko abubuwan bincike.
Hankali na gaggawa na iya ƙirƙirar sakamako mara daidaituwa a cikin buƙatun iri ɗaya.
Za a iya fallasa bayanan rubutu mai ma'ana idan ikon samun dama yana da rauni.
Taswirar Hanya
Ƙayyade tsarin fitarwa, sautin, da ma'auni masu inganci kafin fitowa.
Ƙayyade tsarin fitarwa, sautin, da ma'auni masu inganci kafin fitowa. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.
Amsa a ƙasa tare da amintattun tushe a duk lokacin da daidaito ya shafi mahimmanci.
Amsa a ƙasa tare da amintattun tushe a duk lokacin da daidaito ya shafi mahimmanci. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.
Ajiye wurin binciken ɗan adam don abubuwan da ake samu masu girma.
Ajiye wurin binciken ɗan adam don abubuwan da ake samu masu girma. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.
Bibiyar tsarin gazawar kuma sake horar da tsokaci ko tafiyar aiki akai-akai.
Bibiyar tsarin gazawar kuma sake horar da tsokaci ko tafiyar aiki akai-akai. Ɗauki kowane mataki azaman ƙofar shaida: idan ba a cika sharuɗɗa ba, dakatar da fitar, rufe tazarar, sannan kawai faɗaɗa amfani.