Dulmar
Shuruucda miisaanaynta Chinchilla, ee ka soo jeeda DeepMind ee 2022, waxay tuseen in badi moodooyinka luqadaha waaweyn si xun loo tabobaray: miisaaniyad xisaabeed go'an, waa inaad cabbirtaa cabbirka qaabka iyo xogta tababarka qiyaas siman. Waa arrin sababtoo ah waxay dib u qeexday waxa cabbirka moodeelka 'fiican' macnaheedu yahay oo dib u qaabeeyey sida shaybaadhku u xisaabiyo.
Sharciyada Chinchilla Scaling Law waa qayb ka mid ah xidhmada luqadda-AI ee loo isticmaalo in lagu akhriyo, lagu abuuro, lagu kala saaro, oo lagu beddelo qoraalka iyo hadalka cabbir ahaan.
quusitaanka qoto dheer
Chinchilla ka hor, isbeddelku wuxuu ahaa in la dhiso moodooyinka weligood ka sii weyn (sida 175B-parameter GPT-3) iyadoo la tababarayo qadar yar oo xog ah. DeepMind waxay tababartay in ka badan 400 nooc oo cabbirro badan iyo miisaaniyado xog ah, ka dibna qaloocyada ku habboon saadaalinta luminta iyadoo ay ka mid yihiin cabbirro iyo calaamado hoos yimaada xisaabinta go'an (FLOP). Helitaanka: halbeegyada iyo calaamadaha tababbarku waa in ay isbarbardhigaan, qiyaastii 1-ilaa-1 saamiga, taas oo tusinaysa ilaa 20 calaamadood oo xogta tababarka halbeeggiiba. Si loo caddeeyo, waxay tababareen Chinchilla, oo ah nooc 70B-parameter ah oo ku saabsan 1.4 trillion tokens, kaas oo ka sarreeyay 280B-parameter Gopher inkasta oo la isticmaalo isla xisaabinta, sababtoo ah waxaa lagu tababaray xog aad u badan.
Aragtida Farsamada
Sharciyadu waxay ka imanayaan ku habboonaanta shaqada luminta parametric L(N, D) halkaasoo N ay tahay halbeegyo iyo D ay tahay calaamado, oo ay ku jiraan khasaare-la'aan, cabbir-qaab, iyo ereyada cabbirka xogta. Yaraynta khasaaraha iyada oo loo eegayo xaddidaadda xisaabinta (koombuyuutarku waxay qiyaas ahaan u dhigantaa N times D) waxay soo saartaa natiijada in N iyo D labaduba u koraan sidii awood xisaabeed oo leh jibbaaro la mid ah, markaa saamiga ugu fiican ee xisaabinta ayaa ku dhow 20 token halkiibeeg.
Aqoonta Shuruucda Qiyaasta Chinchilla
Shuruucda miisaanaynta Chinchilla, ee ka soo jeeda DeepMind ee 2022, waxay tuseen in badi moodooyinka luqadaha waaweyn si xun loo tabobaray: miisaaniyad xisaabeed go'an, waa inaad cabbirtaa cabbirka qaabka iyo xogta tababarka qiyaas siman. Waa arrin sababtoo ah waxay dib u qeexday waxa cabbirka moodeelka 'fiican' macnaheedu yahay oo dib u qaabeeyey sida shaybaadhku u xisaabiyo. Sharciyada Chinchilla Scaling Law waa qayb ka mid ah xidhmada luqadda-AI ee loo isticmaalo in lagu akhriyo, lagu abuuro, lagu kala saaro, oo lagu beddelo qoraalka iyo hadalka cabbir ahaan. Si loo dhiso faham qoto dheer, ula dhaqan Sharciyada Chinchilla Scaling sida qaab hawleed, ma aha hal sifo: qeex natiijooyinka la rabo, cadee fikradaha, oo kala saar waxa nidaamku si kalsooni leh u samayn karo iyo waxa wali u baahan go'aan khabiir.
Ficil ahaan, kooxo xoog leh oo isticmaalaya Shuruucda Scaling Chinchilla waxay soo jeedinayaan, soo celin, iyo dib-u-eegis siddo oo ah hal nidaam isgaarsiineed oo isku dhafan. Waxay diiwaangeliyaan shuruudaha guusha ee cad, tijaabiyaan xogta dhabta ah iyo qulqulka shaqada, waxayna ku celceliyaan ku saleysan qaababka guul darrida ee la arkay halkii ay hal mar ku guuleysan lahaayeen halbeegyada. Tani waa halka fahamka aragtida uu isu beddelo karti waara oo dhan badeecada, siyaasadda, iyo hawlgallada.
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta. Isla mar ahaantaana, xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, socodka taageerada, ama natiijooyinka cilmi-baarista. Habka ugu adkeysi badan waa in la isku daro xawaaraha tijaabada iyo anshaxa maamulka: socodsiinta duuliyayaasha, qabashada caddaynta, daabacaadda go'aanka, iyo si joogto ah u cusboonaysii ilaalinta sida habdhaqanka moodeelka, filashada isticmaale, iyo shuruudaha sharciyaynta.
Saamaynta Istiraatijiyadeed
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta.
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta.
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta.
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Dhaqangelinta Adduunka-dhabta ah
DeepMind's 70B-parameter Chinchilla waxay ku garaacday 280B Gopher ee bartilmaameedka iyadoo la adeegsanayo xisaabin siman, iyadoo la tababarayo xog aad u badan.
Kooxaha hagaaya in ay miisaaniyadaan ku dhawaad 20 calaamadood oo tababar halkiibeeg marka la qorshaynayo qaab-xog-xog
Cadaynta moodooyinka yar yar, xogta hodanka ku ah sida LLAMA kuwaas oo ka raqiisan in lagu shaqeeyo wakhtiga fikradda
Qiimaynta in qaabka la qorsheeyay uu 'si hoose loo tabobaran' oo uu ka faa'iidaysan doono xog dheeraad ah marka loo eego cabbirrada dheeraadka ah
Hababka Dhaqangelinta
Dhaqan ahaan sharciyada Chinchilla Scaling Laws
DeepMind's 70B-parameter Chinchilla waxay ku garaacday 280B Gopher bartilmaameedka iyadoo la adeegsanayo xisaabin siman, iyadoo la tababarayo xog aad u badan.
DeepMind's 70B-parameter Chinchilla waxay ku garaacday 280B Gopher ee jaangooyooyinka iyadoo la adeegsanayo xisaabin siman, iyadoo la tababarayo xog aad u badan Kooxo caadi ahaan waxay helayaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, u ilaali dariiqa kor u qaadista bini'aadamka ee kiisaska cirifka ah, oo la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada qaladka waqti ka dib.
Dhaqan ahaan sharciyada Chinchilla Scaling Laws
Kooxaha hagaaya in ay miisaaniyadaan ku dhawaad 20 calaamadood oo tababar halkiibeeg marka la qorshaynayo moodal-xog.
Kooxaha hagaaya in ay miisaaniyad ku qiyaasaan 20 calaamadood oo tababar halkiibeeg marka ay qorshaynayaan moodeel ka-xoq ah Kooxuhu inta badan waxa ay helaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u qaadista bini'aadamka ee kiisaska cirifka ah, oo ay la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada khaladka waqti ka dib.
Dhaqan ahaan sharciyada Chinchilla Scaling Laws
Cadaynta moodooyinka yar yar, xogta hodanka ku ah sida LLAMA kuwaas oo ka raqiisan in lagu shaqeeyo wakhtiga fikradda.
Cadaynta moodooyinka yaryar, xogta qani ku ah sida LLAMA kuwaas oo ka raqiisan in lagu shaqeeyo wakhtiga goynta Kooxuhu caadi ahaan waxay helayaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u qaadida bini'aadamka ee kiisaska cirifka ah, iyo la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada qaladka waqti ka dib.
Dhaqan ahaan sharciyada Chinchilla Scaling Laws
Qiimaynta in qaabka la qorsheeyay uu 'si hoose loo tabobaran' oo uu ka faa'iidaysan doono xog dheeraad ah marka loo eego cabbirrada dheeraadka ah.
Qiyaasta in qaabka la qorsheeyay uu 'si hoose loo tabobarray' oo uu ka faa'iidaysan doono xog dheeraad ah marka loo eego cabbirada dheeraadka ah Kooxuhu waxay badanaa helaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u qaadista bini'aadamka ee kiisaska cirifka ah, waxayna la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada khaladka ah waqti ka dib.
Khatarta & Dariiqyada Ilaalada
Xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, taageerada socodka, ama natiijooyinka cilmi-baarista.
Dareenka degdega ahi wuxuu abuuri karaa natiijooyin aan iswaafaqayn codsiyada la midka ah.
Xogta qoraalka xasaasiga ah ayaa laga yaabaa in la kashifo haddii kontaroolada gelitaanka ay daciif yihiin.
Dhaqangelinta Roadmapka
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin.
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.