Usambamba wa Mfano na Bomba
Wakati muundo ni mkubwa sana kutoshea kwenye GPU moja, ulinganifu wa muundo na bomba hugawanya muundo wenyewe kwenye vifaa.
Muhtasari
This is what makes training giant language models with hundreds of billions of parameters physically possible.
Dive ya kina
Muundo wa usambamba hugawanya muundo mmoja kwenye GPU nyingi kwa hivyo hakuna kifaa kimoja kinachohitaji kushikilia uzani wote. Kuna ladha mbili kuu. Usambamba wa kipimio (safu ya ndani) hugawanya hesabu ndani ya safu, kama vile kukata kizidishio kikubwa cha matriki kwenye GPU ambazo kila hukokotoa sehemu ya matokeo. Usambamba wa bomba (tabaka baina ya tabaka) huweka tabaka tofauti zinazofuatana kwa GPU tofauti, kwa hivyo safu ya 1 huishi kwenye GPU 0, 2 kwenye GPU 1, na kadhalika, huku kuwezesha kupitishwa mbele kama laini ya kuunganisha. Changamoto ya uwekaji bomba wa ujinga ni 'kiputo': wakati GPU 0 inafanya kazi kwenye kundi la kwanza, GPU za chini za mkondo hukaa bila kufanya kitu. Uwekaji mabomba hugawanya kila bechi kuwa bati ndogo ili hatua zote zisalie na shughuli nyingi, na kuboresha matumizi kwa kiasi kikubwa.
Ufahamu wa Kiufundi
Usambamba wa kipimio (kama ilivyo katika NVIDIA Megatron-LM) hugawanya safu wima za matriki ya uzito- au kulingana na safu mlalo na hutumia upunguzaji wa kila kitu ili kuchanganya matokeo yasiyo na kikomo, kuweka mawasiliano ndani ya nodi ya haraka ya NVLink. Usambamba wa bomba (GPipe, PipeDream) hugawanya bechi katika vifungu vidogo vidogo ambavyo hutiririka kupitia hatua kwa ratiba iliyopangwa, ikipunguza muda wa 'Bubble' wa kutofanya kitu. Hizi mbili mara nyingi zimepangwa pamoja, na usawa wa tensor ndani ya nodi na usawa wa bomba kwenye nodi.
Athari za kimkakati
Cost and budget
Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
Maamuzi ya wazi zaidi
Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
Quality control
Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Mustakabali wa Usambamba wa Mfano na Bomba
Mifumo inazidi kubinafsisha tatizo kubwa la kuamua jinsi ya kugawanya muundo kwenye vifaa vyote, kwa kutumia wasifu na utafutaji ili kusawazisha hesabu na mawasiliano. Tarajia muunganisho mkali zaidi wa tensor, bomba, na usambamba wa data (usambamba wa 3D), upangaji nadhifu wa bechi ndogo ili kukaribia kuondoa viputo vya bomba, na maunzi yenye miunganisho ya haraka zaidi ili kugawanya safu moja kwenye chipsi inakuwa nafuu na kuwa utaratibu zaidi kwa miundo mikubwa zaidi.
Utekelezaji wa Ulimwengu Halisi
Kufunza miundo ya mtindo wa GPT kwa kutumia NVIDIA Megatron-LM, ambayo hugawanya uzingatiaji wa kila safu ya transfoma na matiti ya kusambaza mbele kwenye GPU kupitia ulinganifu wa tensor.
Kutumia GPipe kuweka tabaka tofauti za maono makubwa au modeli ya lugha kwenye vichapuzi tofauti huku uwekaji midogo midogo ukiwafanya kuwa na shughuli nyingi.
Injini ya bomba la DeepSpeed inagawanya kigezo cha mabilioni mia nyingi katika hatua katika sehemu nyingi.
Kuchanganya usawa wa tensor ndani ya seva moja ya 8-GPU na usawa wa bomba unaozunguka seva nyingi ili kutoa mafunzo kwa muundo mkubwa sana kwa mashine moja.
Hatari & Walinzi
Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Ramani ya Utekelezaji
Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
Benchmark chini ya mzigo halisi na hali ya data.
Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Model and Pipeline Parallelism quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Usambamba wa Tensor kwa Modeli Kubwa
Maswali yanayoulizwa mara kwa mara
What is Model and Pipeline Parallelism?
Wakati muundo ni mkubwa sana kutoshea kwenye GPU moja, ulinganifu wa muundo na bomba hugawanya muundo wenyewe kwenye vifaa. Hili ndilo linalofanya mafunzo ya miundo mikubwa ya lugha yenye mamia ya mabilioni ya vigezo iwezekanavyo kimwili.
Ni tatizo gani la kimsingi ambalo modeli na usawa wa bomba hutatua?
Usambamba wa muundo na bomba hugawanya muundo wenyewe kwenye vifaa, kuwezesha mafunzo ya mitandao ambayo ni kubwa zaidi kuliko GPU yoyote inaweza kushikilia.
Usambamba wa tensor (safu ya ndani) unagawanyikaje kazi?
Usambamba wa tensor hugawanya hesabu ndani ya safu moja, kwa mfano kugawanya matrix kubwa ya uzani ili kila GPU ijumuishe sehemu ya matokeo.
Je, 'Bubble' katika usambamba wa bomba lisiloeleweka ni nini?
Mapema katika hatua ya bomba, hatua za chini za mto hazina ingizo bado na hukaa bila kufanya kitu, na kupoteza muda wa GPU; pengo hili lisilo na kazi linaitwa Bubble.
Usambamba wa bomba hupunguza vipi Bubble?
Kugawanya bechi katika bati ndogo huruhusu beti ndogo nyingi kuchukua hatua tofauti kwa wakati mmoja, na kufanya GPU zote kuwa na shughuli nyingi na kupungua kwa wakati wa kutofanya kitu.
Kwa nini usawa wa tensor kawaida huwekwa ndani ya nodi moja?
Usambamba wa kizio huwasiliana mara kwa mara ili kuchanganya matokeo ya matriki nusu, kwa hivyo huwekwa mahali kipimo data cha muunganisho kiko juu zaidi, ndani ya nodi juu ya NVLink.