InayofuataMwongozo unaofuata
Adamu na Viboreshaji vya Adaptive
Kiufundi
MWONGOZO wa Kiufundi
Upakiaji wa Jimbo la Optimizer kwa CPU na NVMe
Mbinu ya kuokoa kumbukumbu ambayo huweka uhifadhi mzito wa mafunzo (viboreshaji hali, vipenyo, wakati mwingine uzani) katika RAM ya CPU au NVMe SSD badala ya kumbukumbu adimu ya GPU.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
Huwaruhusu watu kufunza miundo mikubwa zaidi kuliko kumbukumbu ya GPU yao ingeruhusu vinginevyo.
Dive ya kina
Unapofunza mtandao wa neva kwa kutumia kiboreshaji kama vile Adam, kila kigezo hubeba mizigo ya ziada: takwimu mbili zinazoendelea (kasi na tofauti), pamoja na nakala ya uzito kamili, pamoja na kipenyo chake. Katika mafunzo ya usahihi mchanganyiko hii inaweza kujumlisha takribani baiti 16 kwa kila kigezo, ikipunguza baiti 2 kwa uzani wenyewe. Kupakia huhamisha mzigo huo kutoka kwa GPU. Kiboreshaji cha upakiaji wa CPU katika mfumo wa kiboreshaji wa RAM kwenye basi ya PCIe, huku upakiaji wa NVMe ukizisukuma hadi chini hadi kwenye diski za hali dhabiti. Ikijulikana na ZeRO-Infinity na ZeRO-Offload ya DeepSpeed, mbinu hii inauza kasi ghafi ya uwezo, ikiruhusu GPU moja au miundo midogo ya kusawazisha yenye mabilioni ya vigezo.
Utekelezaji wa Ulimwengu Halisi
DeepSpeed’s ZeRO-Offload tutorial trains a ten-billion-parameter GPT-2 configuration on a 32 GB V100, with CPU optimizer offloading and activation checkpointing.
A research team evaluates ZeRO-Infinity with CPU and NVMe tiers for a model that exceeds GPU-only capacity.
A fine-tuning team configures CPU optimizer offloading and measures host memory use and update time.
A team compares larger GPUs with offloading, accounting for CPU, storage, and transfer costs.
Mustakabali wa Upakiaji wa Jimbo la Optimizer kwa CPU na NVMe
Kadiri miundo inavyoendelea kukua kwa kumbukumbu ya GPU, upakiaji wa viwango unazidi kuwa wa kawaida badala ya kuwa wa kigeni. Tarajia muunganisho mkali zaidi na viunganishi vya kasi zaidi kama vile hifadhi za kumbukumbu za NVLink-C2C na CXL ambazo hutia ukungu kwenye mpaka wa CPU-GPU, pamoja na vipanga ratiba nadhifu ambavyo vinatabiri hali ya kuleta mapema. Usanifu wa kumbukumbu zilizounganishwa kama vile Grace Hopper hupunguza adhabu ya PCIe, na mifumo inasukuma kuelekea kufanya upakiaji wa viwango vingi iwe wazi ili wapenda hobby waweze kurekebisha miundo mikubwa kwenye maunzi ya kawaida.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Gharama na bajeti. Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
- Maamuzi ya wazi zaidi. Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
- Udhibiti wa ubora. Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Jihadharini na
- Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
- Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
- Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Hatua zinazofuata
- Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
- Benchmark chini ya mzigo halisi na hali ya data.
- Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
- Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the Optimizer State Offloading to CPU and NVMe quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
Upakiaji wa Jimbo la Optimizer kwa CPU na NVMe ni nini?
Mbinu ya kuokoa kumbukumbu ambayo huweka uhifadhi mzito wa mafunzo (viboreshaji hali, vipenyo, wakati mwingine uzani) katika RAM ya CPU au NVMe SSD badala ya kumbukumbu adimu ya GPU. Huwaruhusu watu kufunza miundo mikubwa zaidi kuliko kumbukumbu ya GPU yao ingeruhusu vinginevyo.
Ni nini lengo la msingi la kupakia majimbo ya kiboreshaji kwa CPU au NVMe?
Kupakia husogeza hali ya kiboreshaji kizito kutoka kwa GPU hadi kwenye RAM ya CPU au NVMe, hivyo basi kumbukumbu ya GPU ili miundo mikubwa zaidi iweze kufunzwa kwenye maunzi sawa.
For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?
Each FP32 value uses four bytes: two moments plus one master weight total twelve. A sixteen-byte mixed-precision estimate includes other tensors as well.
Ni mfumo gani unaoangazia upakiaji wa viboreshaji kwa kiwango kikubwa?
ZeRO-Offload ya DeepSpeed na ZeRO-Infinity ilianzisha na kueneza majimbo ya viboreshaji vya upakiaji kwa CPU na NVMe kwa kiwango.
Ni gharama gani kuu ya upakiaji wa CPU au NVMe?
Kusogeza majimbo nje ya GPU kunamaanisha kuhamisha data juu ya PCIe au kwa NVMe, ambayo ni ya polepole kuliko kumbukumbu ya GPU, kwa hivyo upitishaji hushuka isipokuwa kama umepishana na hesabu.
Mifumo ya upakiaji huficha vipi muda mwingi wa uhamishaji?
Waratibu huleta awali kizigeu kinachohitajika juu ya PCIe wakati GPU ingali inafanya kompyuta, ikipishana mawasiliano na ukokotoaji hadi ucheleweshaji wa barakoa.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii