InayofuataMwongozo unaofuata
Usambamba wa Tensor kwa Modeli Kubwa
Kiufundi
MWONGOZO wa Kiufundi
Usambamba wa Mfano na Bomba
Wakati muundo ni mkubwa sana kutoshea kwenye GPU moja, ulinganifu wa muundo na bomba hugawanya muundo wenyewe kwenye vifaa.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
This is what makes training giant language models with hundreds of billions of parameters physically possible.
Dive ya kina
Muundo wa usambamba hugawanya muundo mmoja kwenye GPU nyingi kwa hivyo hakuna kifaa kimoja kinachohitaji kushikilia uzani wote. Kuna ladha mbili kuu. Usambamba wa kipimio (safu ya ndani) hugawanya hesabu ndani ya safu, kama vile kukata kizidishio kikubwa cha matriki kwenye GPU ambazo kila hukokotoa sehemu ya matokeo. Usambamba wa bomba (tabaka baina ya tabaka) huweka tabaka tofauti zinazofuatana kwa GPU tofauti, kwa hivyo safu ya 1 huishi kwenye GPU 0, 2 kwenye GPU 1, na kadhalika, huku kuwezesha kupitishwa mbele kama laini ya kuunganisha. Changamoto ya uwekaji bomba wa ujinga ni 'kiputo': wakati GPU 0 inafanya kazi kwenye kundi la kwanza, GPU za chini za mkondo hukaa bila kufanya kitu. Uwekaji mabomba hugawanya kila bechi kuwa bati ndogo ili hatua zote zisalie na shughuli nyingi, na kuboresha matumizi kwa kiasi kikubwa.
Utekelezaji wa Ulimwengu Halisi
Kufunza miundo ya mtindo wa GPT kwa kutumia NVIDIA Megatron-LM, ambayo hugawanya uzingatiaji wa kila safu ya transfoma na matiti ya kusambaza mbele kwenye GPU kupitia ulinganifu wa tensor.
Kutumia GPipe kuweka tabaka tofauti za maono makubwa au modeli ya lugha kwenye vichapuzi tofauti huku uwekaji midogo midogo ukiwafanya kuwa na shughuli nyingi.
Injini ya bomba la DeepSpeed inagawanya kigezo cha mabilioni mia nyingi katika hatua katika sehemu nyingi.
Kuchanganya usawa wa tensor ndani ya seva moja ya 8-GPU na usawa wa bomba unaozunguka seva nyingi ili kutoa mafunzo kwa muundo mkubwa sana kwa mashine moja.
Mustakabali wa Usambamba wa Mfano na Bomba
Mifumo inazidi kubinafsisha tatizo kubwa la kuamua jinsi ya kugawanya muundo kwenye vifaa vyote, kwa kutumia wasifu na utafutaji ili kusawazisha hesabu na mawasiliano. Tarajia muunganisho mkali zaidi wa tensor, bomba, na usambamba wa data (usambamba wa 3D), upangaji nadhifu wa bechi ndogo ili kukaribia kuondoa viputo vya bomba, na maunzi yenye miunganisho ya haraka zaidi ili kugawanya safu moja kwenye chipsi inakuwa nafuu na kuwa utaratibu zaidi kwa miundo mikubwa zaidi.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Gharama na bajeti. Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
- Maamuzi ya wazi zaidi. Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
- Udhibiti wa ubora. Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Jihadharini na
- Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
- Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
- Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Hatua zinazofuata
- Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
- Benchmark chini ya mzigo halisi na hali ya data.
- Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
- Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the Model and Pipeline Parallelism quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
What is Model and Pipeline Parallelism?
Wakati muundo ni mkubwa sana kutoshea kwenye GPU moja, ulinganifu wa muundo na bomba hugawanya muundo wenyewe kwenye vifaa. Hili ndilo linalofanya mafunzo ya miundo mikubwa ya lugha yenye mamia ya mabilioni ya vigezo iwezekanavyo kimwili.
Ni tatizo gani la kimsingi ambalo modeli na usawa wa bomba hutatua?
Usambamba wa muundo na bomba hugawanya muundo wenyewe kwenye vifaa, kuwezesha mafunzo ya mitandao ambayo ni kubwa zaidi kuliko GPU yoyote inaweza kushikilia.
Usambamba wa tensor (safu ya ndani) unagawanyikaje kazi?
Usambamba wa tensor hugawanya hesabu ndani ya safu moja, kwa mfano kugawanya matrix kubwa ya uzani ili kila GPU ijumuishe sehemu ya matokeo.
Je, 'Bubble' katika usambamba wa bomba lisiloeleweka ni nini?
Mapema katika hatua ya bomba, hatua za chini za mto hazina ingizo bado na hukaa bila kufanya kitu, na kupoteza muda wa GPU; pengo hili lisilo na kazi linaitwa Bubble.
Usambamba wa bomba hupunguza vipi Bubble?
Kugawanya bechi katika bati ndogo huruhusu beti ndogo nyingi kuchukua hatua tofauti kwa wakati mmoja, na kufanya GPU zote kuwa na shughuli nyingi na kupungua kwa wakati wa kutofanya kitu.
Kwa nini usawa wa tensor kawaida huwekwa ndani ya nodi moja?
Usambamba wa kizio huwasiliana mara kwa mara ili kuchanganya matokeo ya matriki nusu, kwa hivyo huwekwa mahali kipimo data cha muunganisho kiko juu zaidi, ndani ya nodi juu ya NVLink.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii