InayofuataMwongozo unaofuata
GPTQ na Ukadiriaji wa Baada ya Mafunzo ya AWQ
Kiufundi
MWONGOZO wa Kiufundi
Rafu za Mafunzo ya DeepSpeed na Megatron
DeepSpeed (Microsoft) na Megatron-LM (NVIDIA) ni rafu za programu zinazofanya miundo ya mafunzo yenye mabilioni ya vigezo katika maelfu ya GPU kuwezekana.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
Without them, today's frontier models simply could not fit in memory or finish training in a reasonable time.
Dive ya kina
Kufunza muundo mkubwa kwenye GPU moja hauwezekani kwa sababu uzani, viwango vya juu, na hali za viboreshaji hazilingani. Rafu hizi hugawanya kazi kwenye GPU nyingi. Megatron-LM ilianzisha usambamba wa tensor, ikikatwa kuzidisha matriki ya mtu binafsi ndani ya kila safu kwenye GPU, pamoja na usawa wa bomba, ambayo huweka tabaka tofauti kwenye GPU tofauti. Mchango wa saini ya DeepSpeed ni ZeRO (Zero Redundancy Optimizer), ambayo huharibu majimbo ya kiboreshaji, gradient, na vigezo kwenye GPU badala ya kuviiga, kukata kumbukumbu kwa kila GPU kwa kasi. Hizi mbili mara nyingi huunganishwa (Megatron-DeepSpeed) kutoa mafunzo kwa miundo kama vile BLOOM-176B na Megatron-Turing NLG. Pia huongeza usahihi-mchanganyiko, ukaguzi wa kuwezesha, na upakiaji kwa CPU au NVMe ili miundo mikubwa ifunze kwenye maunzi machache.
Utekelezaji wa Ulimwengu Halisi
Kufunza muundo wa BLOOM-176B wa lugha nyingi wazi kwa kutumia rafu iliyounganishwa ya Megatron-DeepSpeed kwenye mamia ya GPU.
Microsoft na NVIDIA inafunza muundo wa NLG wa Megatron-Turing wa 530-bilioni kwa usambamba wa 3D.
ZeRO-Offload inawaruhusu watafiti kurekebisha vizuri miundo ya mabilioni ya vigezo kwenye GPU ya kituo kimoja cha kazi kwa kumwaga majimbo ya viboreshaji kwenye RAM ya CPU.
Kwa kutumia kiashirio cha kuwezesha katika rafu hizi ili kutoshea madirisha marefu ya muktadha kwa kukokotoa kuwezesha tena badala ya kuzihifadhi zote.
Mustakabali wa Rafu za Mafunzo ya DeepSpeed na Megatron
Tarajia muunganisho mkali zaidi na FSDP asili ya PyTorch (Fully Sharded Data Parallel), ambayo ilifyonza mawazo mengi ya ZeRO, ikitia ukungu mstari kati ya rundo la utafiti na mifumo msingi. Mbinu zinazoendeshwa na mkusanyaji na wapangaji wa usambamba otomatiki hulenga kuondoa urekebishaji wa mikono. Vikundi vya mafunzo vinapokua kuelekea mamia ya maelfu ya vichapuzi, uvumilivu wa hitilafu, kuongeza kasi, na mawasiliano yanayoingiliana na hesabu huwa mipaka kuu ya uhandisi, pamoja na usaidizi wa maunzi mapya kama vile NVIDIA Blackwell na chipsi maalum za mafunzo.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Gharama na bajeti. Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
- Maamuzi ya wazi zaidi. Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
- Udhibiti wa ubora. Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Jihadharini na
- Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
- Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
- Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Hatua zinazofuata
- Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
- Benchmark chini ya mzigo halisi na hali ya data.
- Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
- Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the DeepSpeed and Megatron Training Stacks quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
What is DeepSpeed and Megatron Training Stacks?
DeepSpeed (Microsoft) na Megatron-LM (NVIDIA) ni rafu za programu zinazofanya miundo ya mafunzo yenye mabilioni ya vigezo katika maelfu ya GPU kuwezekana. Bila wao, mifano ya leo ya mipaka haikuweza kutoshea kwenye kumbukumbu au kumaliza mafunzo kwa wakati unaofaa.
Ni nini madhumuni ya msingi ya kiboreshaji cha ZeRO cha DeepSpeed?
ZeRO (Zero Redundancy Optimizer) huondoa upungufu wa kumbukumbu kwa kugawanya majimbo ya viboreshaji, gradient, na vigezo kwenye GPU badala ya kuviiga kwenye kila kifaa.
Usambamba wa kidhibiti, kama utangulizi katika Megatron-LM, unagawanya kielelezo jinsi gani?
Usambamba wa tensor hugawanya hesabu ndani ya safu moja (kama vile matriki kuzidisha) kwenye GPU nyingi, ambayo ni mgawanyiko wa safu ya ndani.
Je, ni hatua gani ya ZeRO hutoa uokoaji mkubwa wa kumbukumbu kwa kugawanya vigezo vya mfano wenyewe?
Vigezo vya shards za ZeRO Hatua ya 3 pamoja na gradients na majimbo ya optimizer, kukusanya kwa mahitaji, na kutoa upunguzaji mkubwa wa kumbukumbu.
Je, 'uwekaji ukaguzi wa uwezeshaji' unauza nini ili kuhifadhi kumbukumbu wakati wa mafunzo?
Vielelezo vya ukaguzi wa kuwezesha huhifadhi uwezeshaji mdogo wa kati na huzihesabu tena wakati wa uenezaji nyuma, biashara ya hesabu ya ziada kwa kumbukumbu iliyopunguzwa.
Kwa nini kuchanganya mbinu hizi mara nyingi huitwa 'usambamba wa 3D'?
Usambamba wa 3D hukusanya mikakati mitatu ya othogonal: usambamba wa data, usawaziko wa tensor (safu ya ndani) na usawa wa bomba (tabaka baina).
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii