Xiga xigaHagaha xiga
Isbarbardhigga Tensor-ka ee Modelyada Waaweyn
Farsamo
HAGAHA Farsamada
Qaabka iyo Tubooyinka Isbarbar-dhigga
Marka moodalku aad u weyn yahay oo aanu ku habboonayn hal GPU, isbarbardhigga moodeelka iyo dhuumaha ayaa u kala qaybiya moodalka laftiisa aaladaha oo dhan.
Dhageyso hagahanAI-waa laga sheekeeyay · ~2 min
Boggaan2 daqiiqo akhri
Dulmar
This is what makes training giant language models with hundreds of billions of parameters physically possible.
quusid qoto dheer
Isbarbardhigga moodeelku waxa uu u qaybiyaa hal nooc oo guud ahaan GPU-yo badan sidaa darteed hal qalab uma baahna inuu hayo dhammaan miisaannada. Waxaa jira laba dhadhan oo waaweyn. Tensor (intra-lakab) isbarbar yaacaya xisaabta gudaha lakabka, sida gooynta isku-dhufashada matrixka weyn ee GPU-yada oo mid walba uu xisaabiyo qayb ka mid ah wax soo saarka. Dhuumaha (lakab-lakab) isbarbardhigga waxay u qoondeeyaan lakabyo kala duwan oo isku xigta GPU-yo kala duwan, sidaas darteed lakabka xannibaya 1 wuxuu ku nool yahay GPU 0, xannibaadda 2 ee GPU 1, iyo wixii la mid ah, iyada oo waxqabadyada loo sii gudbiyay sida xariiqda kulanka. Caqabada leh dhuumaha naive-ka ah waa 'xumbada': halka GPU 0 uu ka shaqeeyo dufcaddii ugu horreysay, GPU-yada hoose waxay fadhiyaan shaqo-la'aan. Dhuumaha tuubooyinka waxay qayb kasta u kala qaybisaa qaybo yaryar si dhammaan marxaladaha ay mashquul u noqdaan, iyagoo si weyn u horumarinaya isticmaalka.
Dhaqangelinta Adduunka-dhabta ah
Tababarka moodooyinka qaabka GPT ee NVIDIA Megatron-LM, kaas oo kala qaybiya dareenka lakabka beddelka kasta iyo matris-hormarinta guud ahaan GPU-yada iyada oo loo marayo isbarbardhigga tensor-ka.
Isticmaalka GPipe si aad u dhigto lakabyo kala duwan oo aragti weyn ama qaab luqadeed dardargeliyayaal kala duwan halka batch yar-yar ay ka dhigayso mashquul.
Matoorka dhuumaha ee DeepSpeed wuxuu u qaybiyaa moodel-boqolaal bilyan oo cabbirro ah oo u kala qaybinaya qaybo badan.
Isku-dubbaridka tensor-ka gudaha hal-serfer 8-GPU ah oo leh isbarbar-dhigga dhuumaha dhuumaha oo dhan server-yo badan si loo tababaro moodal aad ugu weyn hal mashiin.
Mustaqbalka Tubta iyo Isbarbardhigga Tubooyinka
Qaab-dhismeedyadu waxay si isa soo taraysa u otomaatigeeyaan dhibaatada adag ee go'aaminta sida loo qaybiyo moodalka aaladaha oo dhan, iyadoo la isticmaalayo xog-ururin iyo raadin si loo miisaamo xisaabinta iyo isgaarsiinta. Filo is dhexgalka adag ee tensor, dhuumaha, iyo isbarbardhigga xogta (isbarbardhigga 3D), jadwalka dufcada yar ee ka caqli badan si ay ugu dhawaadaan baabi'inta xumbooyinka dhuumaha, iyo qalabka leh isku xirnaanta degdega ah si loo kala qaybiyo hal lakab oo jajab ah ayaa noqda mid raqiis ah oo joogto ah moodooyinka weligood weyn.
Ku dhaqangelinta
Maxay muhiim u tahay
- Qiimaha iyo miisaaniyada. Go'aamada qaab-dhismeedku waxay horseedaan waxqabadka iyo kharashka hawlgalka sannadaha.
- Go'aamo cad. Waxbarashada farsamada waxay ka caawisaa kooxaha inay doortaan xidhmo sax ah, ma aha oo kaliya kan ugu cusub.
- Xakamaynta tayada. Doorashooyinka injineernimada ee wanaagsan waxay yareeyaan shilalka la isku halleyn karo ee wax soo saarka.
Iska ilaali
- Hagaajinta hal bartilmaameed waxay qarin kartaa daciifnimada nidaamka ballaaran.
- Kaabayaasha dhaqaalaha iyo dayactirka inta badan waa la dhayalsadaa.
- Nabadgelyada iyo daldaloolada u fiirsashada ayaa kori kara marka nidaamyadu noqdaan kuwo aad u adag.
Tallaabooyinka xiga
- Qeex daahida, tayada, iyo bartilmaameedyada qiimaha ka hor inta aan la hirgelin.
- Benchmark marka la eego culeyska dhabta ah iyo xaaladaha xogta.
- La socodka qalabka khaladaadka, leexashada, iyo saamaynta isticmaalaha.
- U diyaari dib-u-noqoshada iyo dariiqyada jawaab-celinta dhacdada ka hor inta aanad miisaan.
Sii wad Sahaminta
Warqad bilaash ah
Hel warbixinta maalinlaha ah ee AI
Saddex sheeko oo la xaqiijiyay oo AI ah maalin kasta oo shaqo ah, oo lagu qoray Ingiriis fudud. Bilaash had iyo jeer, aan xayaysiis lahayn.
Hal iimayl maalin kasta oo shaqo ah. Ka bax hal gujin. Marna ma iibinno ama ma wadaagno ciwaankaaga.
Is tijaabi
Take the Model and Pipeline Parallelism quiz
Fikrad degdeg ah oo ku saabsan jawaab kasta, iyo shahaado la wadaajin karo oo leh aqoonsi la xaqiijin karo markaad ka gudubto koorso.
Taageer waxbarashada AI bilaashka ah. AI Understanding waa 501(c)(3) aan faa'iido doon ahayn — xayaysiis la'aan, albaab lacag ah ma jiro, had iyo jeer. Samee deeq
Su'aalaha soo noqnoqda
What is Model and Pipeline Parallelism?
Marka moodalku aad u weyn yahay oo aanu ku habboonayn hal GPU, isbarbardhigga moodeelka iyo dhuumaha ayaa u kala qaybiya moodalka laftiisa aaladaha oo dhan. Tani waa waxa ka dhigaya tababarida moodooyinka luqadaha waaweyn ee leh boqollaal balaayiin cabirro jir ahaan suurtogal ah.
Waa maxay mushkiladda aasaasiga ah ee isbarbar-dhigga qaabka iyo dhuumaha ay xalliyaan?
Moodeelka iyo dhuumaha isbarbar-dhigga ayaa u kala qaybiya qaabka laftiisa dhammaan aaladaha, taas oo awood u siinaysa tababbarka shabakadaha oo aad uga weyn mid kasta oo GPU qaban karo.
Sidee buu u shaqeeyaa kala qaybsanaanta isbarbardhigga tensor (lakabka gudaha)?
Isbarbardhigga Tensor-ku wuxuu u qaybiyaa xisaabinta hal lakab, tusaale ahaan kala qaybinta matrix miisaan weyn si GPU kastaa u xisaabiyo qayb ka mid ah wax soo saarka.
Waa maxay 'xumbo' ee isbarbar yaaca dhuumaha naive?
Horraantii tallaabada dhuumaha, heerarka hoose weli wax tallo ah ma lahan oo iska fadhiistaan, luminaya waqtiga GPU; farqiga shaqo la'aanta ah waxaa loo yaqaan xumbo.
Sidee ayay isbarbar yaaca dhuumaha u yareeyaan xumbo?
Qaybinta dufcad-yar-yar waxay u oggolaanaysaa dufcooyin-yar-yar oo badan inay isku mar qabsadaan heerar kala duwan, iyadoo lagu mashquulinayo dhammaan GPU-yada oo yaraanaya wakhtiga aan shaqayn.
Waa maxay sababta isbarbardhigga tensor-ku caadi ahaan loogu hayaa hal nood?
Isbarbardhigga Tensor-ku wuxuu si joogto ah ula xiriiraa inuu dib isugu keeno natiijooyinka shaxanka qayb ahaan, sidaas darteed waxaa la dhigayaa meesha ugu sarreysa ee isku-xirnaanta isku-xirnaanta ee ugu sarreysa, gudaha noodka ka sarreeya NVLink.
Sii wad waxbarashada
Tilmaamaha la xidhiidha
Tilmaamayaal badan ayaa loo doortay mawduucan