Dulmar
Chinchilla waa DeepMind 2022 oo la ogaaday in moodooyinka waaweyn ee luqadaha intooda badan si xun loo tababaray: miisaaniyad xisaabeed go'an waa inaad cabbirtaa cabbirada iyo xogta si isku mid ah, maaha kaliya inaad dhisto moodal ka weyn. Waxay dib u habayn ku samaysay sida warshaduhu isugu dheelitiraan cabbirka moodeelka iyo xogta tababarka.
Chinchilla Compute-Tobabarka ugu Fiican wuxuu ku fadhiyaa qalabka AI ee aasaasiga ah. Markaad fahamto, mawduucyada kale ee AI waxay noqonayaan kuwo sahlan in la qiimeeyo oo la barbardhigo.
quusitaanka qoto dheer
Waraaqda DeepMind's Chinchilla waxay dib u eegtay miisaanaynta waxayna tababartay in ka badan 400 oo nooc si loo helo dheelitirka ugu fiican. Xeerka ciwaanka ee suulka: cabbirka moodeelka iyo calaamadaha tababbarku waa in ay koraan meel quful ah, qiyaastii 20 calaamadood oo tababbarro ah halbeeggiiba. Si loo caddeeyo, waxay tababareen Chinchilla, oo ah nooc 70-bilyan-parameter ah oo ku saabsan 1.4 trillion token, iyaga oo isticmaalaya xisaab la mid ah kii 280-bilyan-parameter Gopher oo lagu tababaray calaamado aad uga yar. Chinchilla, in kasta oo ay afar jeer ka yar tahay, waxay ka sarraysay Gopher, GPT-3, iyo kooxaha kale ee ku dhawaad beeg kasta. Casharku waxa uu rogay gabagabada OpenAI hore ee ahaa in cabbirka laga door biday xogta, oo tusaysa noocyo badan oo calanka ah oo ka tagaya waxqabadka miiska iyaga oo aad u weyn oo aad xog u gaajooday.
Aragtida Farsamada
Chinchilla waxay ku habboon tahay luminta sida L (N, D) = E + A·N ^ (-α) + B·D^ (-β), oo leh α iyo β labadaba u dhow 0.34, taasoo la micno ah cabbirrada iyo xogtu waxay gacan ka geystaan ku dhawaad simmetrically. Ku wanaajinta tan iyada oo la raacayo xaddidaad xisaabeed go'an (kumbuyuutar ≈ 6 · N·D ee transformers) waxay soo saartaa natiijada miisaan siman. Qaab ka yar, xogta qani ku ah sidoo kale waa ka raqiisan yahay in lagu socodsiiyo fikradda, sidaa darteed faa'iidooyinkeeda xeryahooda ee geynta, ma aha kaliya tababarka.
Mastering Chinchilla Compute-Tababarka ugu Fiican
Chinchilla waa DeepMind 2022 oo la ogaaday in moodooyinka waaweyn ee luqadaha intooda badan si xun loo tababaray: miisaaniyad xisaabeed go'an waa inaad cabbirtaa cabbirada iyo xogta si isku mid ah, maaha kaliya inaad dhisto moodal ka weyn. Waxay dib u qaabaysay sida warshaduhu isugu dheelitiraan cabbirka moodeelka iyo xogta tababarka. Chinchilla Compute-Tobabarka ugu Fiican wuxuu ku fadhiyaa qalabka AI ee aasaasiga ah. Markaad fahamto, mawduucyada kale ee AI waxay noqonayaan kuwo sahlan in la qiimeeyo oo la barbardhigo. Si loo dhiso faham qoto dheer, ula dhaqan Chinchilla Compute-Uptimal Training sida qaab hawleed, ma aha hal sifo: qeex natiijooyinka la rabo, cadee fikradaha, oo kala saar waxa nidaamku si kalsooni leh u qaban karo iyo waxa weli u baahan xukun khabiir.
Ficil ahaan, kooxaha xoogga leh ee isticmaalaya Chinchilla Compute-Uptimal Training waxay marka hore dhisaan moodooyin fikradeed xooggan, ka dibna u khariidad moodooyinkaas caqabadaha wax soo saarka dhabta ah. Waxay diiwaangeliyaan shuruudaha guusha ee cad, tijaabiyaan xogta dhabta ah iyo qulqulka shaqada, waxayna ku celceliyaan ku saleysan qaababka guul darrida ee la arkay halkii ay hal mar ku guuleysan lahaayeen halbeegyada. Tani waa halka fahamka aragtida uu isu beddelo karti waara oo dhan badeecada, siyaasadda, iyo hawlgallada.
Waxay kaa caawinaysaa inaad kala saartid sheegashooyinka farsamada cad iyo luqadda suuq-geynta. Isla mar ahaantaana, kooxo kala duwan ayaa laga yaabaa inay isla ereyga si kala duwan u isticmaalaan, marka hore u qeex baaxadda. Habka ugu adkeysi badan waa in la isku daro xawaaraha tijaabada iyo anshaxa maamulka: socodsiinta duuliyayaasha, qabashada caddaynta, daabacaadda go'aanka, iyo si joogto ah u cusboonaysii ilaalinta sida habdhaqanka moodeelka, filashada isticmaale, iyo shuruudaha sharciyaynta.
Saamaynta Istiraatijiyadeed
Waxay kaa caawinaysaa inaad kala saartid sheegashooyinka farsamada cad iyo luqadda suuq-geynta.
Waxay kaa caawinaysaa inaad kala saartid sheegashooyinka farsamada cad iyo luqadda suuq-geynta. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Waxaad waydiin kartaa su'aalo fulineed oo wanaagsan ka hor inta aadan lacag ama waqti bixin.
Waxaad waydiin kartaa su'aalo fulineed oo wanaagsan ka hor inta aadan lacag ama waqti bixin. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Kooxaha fahamka la wadaago waxay sameeyaan wax soo saar, siyaasad, iyo go'aano waxbarasho oo wanaagsan.
Kooxaha fahamka la wadaago waxay sameeyaan wax soo saar, siyaasad, iyo go'aano waxbarasho oo wanaagsan. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Dhaqangelinta Adduunka-dhabta ah
Doorashada in lagu tababaro qaab 7-bilyan-beeg-beeg ah oo ku saabsan 2 trillion token halkii ay ka ahaan lahayd qaab 30-bilyan oo xog aad u yar isla miisaaniyada.
Qiyaasta in moodal 10-bilyan oo cabbir ah uu doonayo ku dhawaad 200 bilyan oo calaamadood si uu ugu dhufto barta macaan ee ugu fiican.
Cadaynta nooc ka yar oo la diray si loo dhimo kharashaadka soo jeedinta weydiinta iyadoo la waafajinayo tayada xafiiltanka weyn.
Hanti-dhawrka qaabka jira iyo gunaanadka ayaa ahaa mid si hoose loo tababaray, ka dibna qorsheynta tababar dheer oo dheeraad ah halkii la kordhin lahaa qiyaasta.
Hababka Dhaqangelinta
Chinchilla Compute-Tababarka ugu Fiican ee ficil ahaan
Doorashada in lagu tababaro qaab 7-bilyan-beeg-beeg ah oo ku saabsan 2 trillion token halkii ay ka ahaan lahayd qaab 30-bilyan oo xog aad u yar isla miisaaniyada.
Doorashada in lagu tababaro qaab 7-bilyan-beeg ah oo ku saabsan 2 trillion calaamado halkii laga heli lahaa qaab 30-bilyan oo xog aad u yar oo isku mid ah kooxuhu waxay badanaa helaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, u ilaali dariiqa kor u kaca bini'aadamka ee kiisaska cirifka ah, oo la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada qaladka waqti ka dib.
Chinchilla Compute-Tababarka ugu Fiican ee ficil ahaan
Qiyaasta in moodal 10-bilyan oo cabbir ah uu doonayo ku dhawaad 200 bilyan oo calaamadood si uu ugu dhufto barta macaan ee ugu fiican.
Qiyaasta in moodelka 10-bilyan ee cabbirka ah uu rabo qiyaastii 200 bilyan oo calaamadood si uu ugu dhufto xisaab-celinta ugu fiican kooxuhu waxay badanaa helaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u kaca bini'aadamka ee kiisaska cirifka ah, oo la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada khaladka waqti ka dib.
Chinchilla Compute-Tababarka ugu Fiican ee ficil ahaan
Cadaynta nooc ka yar oo la diray si loo dhimo kharashaadka soo jeedinta weydiinta iyadoo la waafajinayo tayada xafiiltanka weyn.
Cadaynta nooc ka yar oo la diray si loo dhimo kharashaadka soo jeedinta weydiinta iyadoo la barbardhigayo tayada xafiiltamaan ee kooxuhu inta badan waxay helaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u qaadida bini'aadamka ee kiisaska cirifka ah, oo ay la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada khaladka waqti ka dib.
Chinchilla Compute-Tababarka ugu Fiican ee ficil ahaan
Hanti-dhawrka qaabka jira iyo gunaanadka ayaa ahaa mid si hoose loo tababaray, ka dibna qorsheynta tababar dheer oo dheeraad ah halkii la kordhin lahaa qiyaasta.
Hanti-dhawrka qaab jira oo la soo gebagebeeyey ayaa ahaa mid si hoose loo tababaray, ka dibna la qorsheeyo tababar dheer oo dheeraad ah halkii la kordhin lahaa halbeegyada kooxuhu inta badan waxay helayaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, waxay hayaan dariiqa kor u kaca bini'aadamka ee kiisaska cirifka ah, waxayna la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada khaladka waqti ka dib.
Khatarta & Dariiqyada Ilaalada
Kooxo kala duwan ayaa laga yaabaa inay isla erey u isticmaalaan si kala duwan, marka hore u qeex baaxadda.
Tilmaamaha ayaa u ekaan kara kuwo xooggan halka waxqabadka dhabta ah ee dunidu aanu sinnayn.
In la iska indho tiro tayada xogta iyo qorshayaasha qiimayntu waxay inta badan abuurtaa natiijooyin jilicsan.
Dhaqangelinta Roadmapka
Ka bilow qeexidda luqadda cad ee natiijada aad u baahan tahay.
Ka bilow qeexidda luqadda cad ee natiijada aad u baahan tahay. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
Dooro hal cabbir guusha iyo hal xaalad guuldarro ka hor tijaabada.
Dooro hal cabbir guusha iyo hal xaalad guuldarro ka hor tijaabada. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
Ku orod duuliye yar oo wata xogta matale, ee ma aha bandhig muuqaal ah.
Ku orod duuliye yar oo wata xogta matale, ee ma aha bandhig muuqaal ah. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
Dukumeenti meesha Chinchilla Compute-Tabbarka ugu Fiican ay ka caawiso iyo meelaha hababka fudud ay ka fiican yihiin.
Dukumeenti meesha Chinchilla Compute-Tabbarka ugu Fiican ay ka caawiso iyo meelaha hababka fudud ay ka fiican yihiin. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.