Maareynta Xusuusta GPU-da iyo Kala-jabinta
Sida qaab-dhismeedka AI u qoondeeyo, dib-u-isticmaalka, iyo dib-u-soo celinta xusuusta xaddidan ee GPU-ga, iyo sababta nusqaamaha hadha (kala-jajabin) ay u keeni karaan khaladaad xusuusta ka baxsan xitaa marka xusuus badan oo farsamo ahaan ay hadhsan tahay.
Dulmar
Understanding it is key to fitting big models and avoiding mysterious crashes.
quusid qoto dheer
Xusuusta GPU waa mid go'an oo qaali ah: kaarku wuxuu lahaan karaa 24, 80, ama 192 GB, oo ay wadaagaan miisaannada moodeelka, firfircoonida, gradients, dawladaha hagaajinta, iyo kaydiyayaal ku meel gaadh ah. U yeedhida darawalka si uu u qoondeeyo xusuusta hawl kasta waxay noqon doontaa mid gaabis ah, sidaas darteed qaab-dhismeedka sida PyTorch waxay isticmaalaan qoondaynta kaydinta kaas oo qabta baloogyo waaweyn xagga hore oo gacanta ka saaraya qaybo hoose, ka dibna qaybo la sii daayay ku haya barkad si dib loogu isticmaalo. Qabashadu waa kala qaybsanaan: sida teenors ee cabbirro kala duwan ayaa loo qoondeeyey oo la sii daayay, booska xorta ah wuxuu u jajabiyaa qaybo kala firirsan. Waxaad ku yeelan kartaa 5 GB oo bilaash ah wadar ahaan haddana ku guuldareysa inaad u qoondeyso 2 GB tensor xiriir ah sababtoo ah ma jiro farqi weyn oo kugu filan. Tani waa sababta tabobarku u burburi karo khaladaadka xusuusta ka baxsan inkasta oo ay u muuqato qol-madaxeed la heli karo.
Aragtida Farsamada
PyTorch's CUDA caching allocator wuxuu u kala qaybiyaa xusuusta ilaa durdurro baloogyo ah wuxuuna dib u isticmaalaa baloogyada la daayay ee u dhigma cabbirrada la codsaday, isaga oo ka fogaanaya wicitaannada cudaMalloc/cuda lacag-la'aanta ah. Burburku wuxuu soo baxaa marka baloogyada kala go'a aan la isku dari karin. Aaladaha sida torch.cuda.empty_cache, PYTORCH_CUDA_ALLOC_CONF optionable_segments, iyo sawir qaadaha xusuusta ayaa caawiya. Hababka cusubi waxay amaahdaan fikradaha xusuusta-virtual-ta ah, iyaga oo u samaynaya bogag jireed oo aan xidhiidhin oo isku xidhan oo isku xidhan si codsiyada waaweyni u guulaystaan in kasta oo la kala qaybsan yahay.
Saamaynta Istiraatijiyadeed
Qiimaha iyo miisaaniyada
Go'aamada qaab-dhismeedku waxay horseedaan waxqabadka iyo kharashka hawlgalka sannadaha.
Go'aamo cad
Waxbarashada farsamada waxay ka caawisaa kooxaha inay doortaan xidhmo sax ah, ma aha oo kaliya kan ugu cusub.
Xakamaynta tayada
Doorashooyinka injineernimada ee wanaagsan waxay yareeyaan shilalka la isku halleyn karo ee wax soo saarka.
Mustaqbalka Maareynta Xusuusta GPU-da iyo Tafaraaruqa
Maareynta xusuusta ayaa noqonaysa mid caqli badan oo bogag badan leh, oo ay dhiirigelisay nidaamyada hawlgalka. Farsamooyinka sida qaybiyeyaasha qaabka-xasuusta-virtual ah iyo feejignaanta bogga (loo isticmaalo in lagu maareeyo khasnadda KV inta lagu jiro fikradda) waxay si weyn u yareeyaan qashinka iyo kala qaybsanaanta. Filo qaab-dhismeedyada inay noqdaan kuwo la fidin karo, qaybiyayaal kala jajabinaya, muuqaal wanaagsan oo lagu dhex dhisay profile-yada, iyo isku xidhka adag ee soo dejinta iyo dib-u-cusboonaynta si nidaamku u jaangooyo GPU, CPU, iyo xusuusta diskooga si toos ah si loo ilaaliyo ka faa'iidaysiga sare iyo shilalka naadir.
Dhaqangelinta Adduunka-dhabta ah
Socod tabobar oo shil ku leh 'CUDA xusuusta ka baxday' in kasta oo xusuusta kaydsan ay muujinayso meel bannaan, lagu hagaajiyay iyada oo la dejiyay PYTORCH_CUDA_ALLOC_CONF si loo suurtageliyo qaybaha la fidin karo.
Isticmaalka torch.cuda.memory_summary ama sawirka xusuusta si loo ogaado kiriyeyaasha iyo kala qaybsanaanta cunaya GPU's 80 GB.
vLLM's Paged Feejignaanta maaraynta kaydka dareenka KV ee boggaga cabbirka go'an si loogu adeego codsiyo badan oo wada sheekaysi ah iyada oo aan lumin xusuusta.
Hoos u dhigida cabbirka dufcadda ama awood u siinta isbaarada gradient si ay u jarto xusuusta firfircoonida oo ay uga fogaato burbur-ka-baxa xusuusta ka baxsan.
Khatarta & Dariiqyada Ilaalada
Hagaajinta hal bartilmaameed waxay qarin kartaa daciifnimada nidaamka ballaaran.
Kaabayaasha dhaqaalaha iyo dayactirka inta badan waa la dhayalsadaa.
Nabadgelyada iyo daldaloolada u fiirsashada ayaa kori kara marka nidaamyadu noqdaan kuwo aad u adag.
Qorshe Hawleedka Dhaqangelinta
Qeex daahida, tayada, iyo bartilmaameedyada qiimaha ka hor inta aan la hirgelin.
Benchmark marka la eego culeyska dhabta ah iyo xaaladaha xogta.
La socodka qalabka khaladaadka, leexashada, iyo saamaynta isticmaalaha.
U diyaari dib-u-noqoshada iyo dariiqyada jawaab-celinta dhacdada ka hor inta aanad miisaan.
Sii wad Sahaminta
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the GPU Memory Management and Fragmentation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hagaha xiga
Jadwalka GPU iyo abaabulka Kooxda
Su'aalaha soo noqnoqda
What is GPU Memory Management and Fragmentation?
Sida qaab-dhismeedka AI u qoondeeyo, dib-u-isticmaalka, iyo dib-u-soo celinta xusuusta xaddidan ee GPU-ga, iyo sababta nusqaamaha hadha (kala-jajabin) ay u keeni karaan khaladaad xusuusta ka baxsan xitaa marka xusuus badan oo farsamo ahaan ay hadhsan tahay. Fahmida waxay fure u tahay in lagu rakibo moodooyinka waaweyn lagana fogaado shilalka qarsoon.
Waa maxay kala qaybsanaanta xusuusta GPU?
Kala qaybsanaantu waxay ka dhigan tahay wadarta guud ee xusuusta xorta ahi waa ku filan tahay, laakiin waa la jajabiyaa, markaa ma jiro farqi keliya oo ku filan tensor weyn.
Waa maxay sababta qaab-dhismeedka sida PyTorch ay u isticmaalaan kaydiyaha xusuusta kaydinta?
U yeedhida cudaMalloc/cudaFree ee op kasta waa mid gaabis ah, sidaa darteed qoondeeyaha kaydinta ayaa qabta baloogyo waaweyn oo dib u isticmaala kuwa la sii daayay barkadda.
Waxaad arkaysaa 5 GB oo bilaash ah laakiin ma qoondayn kartid 2 GB tensor. Waa maxay sababta suurtogalka ah?
Calaamaddan caadiga ah ee kala qaybsanaanta waxay dhacdaa marka xusuusta xorta ah ay jirto laakiin maaha sida hal jajab oo isku xigta oo ku filan codsiga.
Waa kuwee goobta PyTorch ee caawiya dhimista kala qaybsanaanta iyadoo u oggolaanaysa qaybaha xusuusta inay u koraan dabacsanaan?
Dejinta PYTORCH_CUDA_ALLOC_CONF si ay awood ugu siiso qaybaha la fidin karo waxay u ogolaataa qoondeeyaha inuu koro qaybaha oo uu yareeyo guuldarrooyinka la xidhiidha tafaraaruqa.
Muxuu vLLM's Paged Feejignaanta uu maamulaa si uu u yareeyo qashinka xusuusta inta lagu jiro fikradda?
PagedAttention waxay ku kaydisaa khasnadda KV bogag cabbir go'an sida OS-ga xusuusta casriga ah, gooynta tafaraaruqa iyo u adeegidda codsiyo badan si hufan.