የቴክኒክ መመሪያ

የጂፒዩ ማህደረ ትውስታ አስተዳደር እና መከፋፈል

የ AI ማዕቀፎች በጂፒዩ ላይ ያለውን ውስን ማህደረ ትውስታ እንዴት እንደሚመድቡ፣እንደገና እንደሚጠቀሙበት እና እንደሚያስመልሱ እና ለምን የተረፈ ክፍተቶች (ክፍልፋዮች) ከትውስታ ውጭ ስህተቶችን ሊያስከትሉ የሚችሉት ብዙ ማህደረ ትውስታ በቴክኒክ ደረጃ ቢሆንም።

2 ሚን አንብብለመጨረሻ ጊዜ የዘመነው ጁን 2 2026

አጠቃላይ እይታ

Understanding it is key to fitting big models and avoiding mysterious crashes.

ጥልቅ ዳይቭ

የጂፒዩ ማህደረ ትውስታ ቋሚ እና ውድ ነው፡ አንድ ካርድ በአጠቃላይ 24፣ 80 ወይም 192 ጂቢ ሊኖረው ይችላል፣ በሞዴል ክብደቶች፣ እንቅስቃሴዎች፣ ቅልመት፣ አመቻች ግዛቶች እና ጊዜያዊ ቋት የሚጋራ። በእያንዳንዱ ኦፕሬሽን ላይ ማህደረ ትውስታን ለመመደብ ሾፌሩን መጥራት አዝጋሚ ይሆናል፣ ስለዚህ እንደ ፒይቶርች ያሉ ማዕቀፎች መሸጎጫ አከፋፈልን ይጠቀማሉ ከፊት ለፊት ትላልቅ ብሎኮችን የሚይዝ እና ንዑስ ቁርጥራጮችን የሚሰጥ እና የተፈቱ ቁርጥራጮችን እንደገና ለመጠቀም ገንዳ ውስጥ ያስቀምጣል። የሚይዘው መከፋፈል ነው፡ የተለያየ መጠን ያላቸው ቴንሶች ሲመደቡ እና ሲለቀቁ፣ ነፃው ቦታ ወደ ተበታተኑ ቁርጥራጮች ይሰበራል። በአጠቃላይ 5 ጂቢ ነፃ ሊኖርዎት ይችላል ነገር ግን ተከታታይ የሆነ 2 ጂቢ ቴንስ ለመመደብ አልተሳካም ምክንያቱም ምንም ነጠላ ክፍተት በቂ አይደለም. በዚህ ምክንያት ነው ስልጠናው የሚገኝ ቢመስልም ከትውስታ ውጪ ባሉ ስህተቶች ሊበላሽ የሚችለው።

ቴክኒካዊ ግንዛቤ

የፒቶርች CUDA መሸጎጫ አከፋፋይ ማህደረ ትውስታን ወደ ብሎኮች ዥረቶች ይከፍላል እና ከተጠየቁት መጠኖች ጋር የሚዛመዱ የተለቀቁ ብሎኮችን እንደገና ይጠቀማል፣ ይህም ውድ የኩዳማሎክ/ኩዳ ነጻ ጥሪዎችን ያስወግዳል። የተከፋፈሉ ብሎኮች እንደገና ሊጣመሩ በማይችሉበት ጊዜ መከፋፈል ይነሳል። እንደ torch.cuda.empty_cache፣ PYTORCH_CUDA_ALLOC_CONF ሊሰፋ የሚችል_ክፍል አማራጮች እና የማህደረ ትውስታ ቅጽበተ-ፎቶዎች ያሉ መሳሪያዎች ይረዳሉ። አዳዲስ አቀራረቦች ምናባዊ የማስታወሻ ሀሳቦችን ይዋሳሉ፣ የማይቀጥሉ አካላዊ ገጾችን ወደ ተከታታይ ምናባዊ ክልል በመቅረጽ ትላልቅ ጥያቄዎች ቢከፋፈሉም ይሳካሉ።

ስልታዊ ተጽእኖ

ወጪ እና በጀት

የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.

ግልጽ ውሳኔዎች

የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።

የጥራት ቁጥጥር

የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.

የወደፊቱ የጂፒዩ ማህደረ ትውስታ አስተዳደር እና መከፋፈል

የማህደረ ትውስታ አስተዳደር በስርዓተ ክወናዎች ተመስጦ የበለጠ ብልህ እና የበለጠ ገጽ እየሆነ ነው። እንደ ምናባዊ-ሜሞሪ-ስታይል አከፋፋዮች እና የገጽታ ትኩረት (በግምት ወቅት የKV cacheን ለማስተዳደር ጥቅም ላይ የሚውለው) ቴክኒኮች ብክነትን እና መከፋፈልን በእጅጉ ይቀንሳሉ። ማዕቀፎችን ወደ ነባሪው ሊሰፋ የሚችል፣ የሚከፋፍሉ የምደባዎች፣ አብሮ በተሰራው ፕሮፋይለሮች የተሻለ ታይነት፣ እና ከማውረድ እና ዳግም ማስላት ጋር ጥብቅ ትስስር እንዲፈጠር ይጠብቁ ስርዓቱ አጠቃቀሙን ከፍ ለማድረግ እና ብልሽት እንዲቆይ ለማድረግ ጂፒዩን፣ ሲፒዩ እና የዲስክ ማህደረ ትውስታን በራስ-ሰር ያጣራል።

የእውነተኛ-ዓለም አተገባበር

ምንም እንኳን የተያዘው ማህደረ ትውስታ ነፃ ቦታ ቢያሳይም 'CUDA ከሜሞሪ ውጪ' ጋር የሚጋጭ የስልጠና ሩጫ PYTORCH_CUDA_ALLOC_CONF በማዘጋጀት ሊሰፋ የሚችል ክፍሎችን ለማንቃት።

የቶርች.cuda.memory_summary ወይም የማህደረ ትውስታ ቅጽበታዊ ገጽ እይታን በመጠቀም የትኛዎቹ ተንከሮች እና ፍርስራሾች የጂፒዩ 80 ጂቢ እየበሉ እንደሆነ ለማወቅ።

የVLLM Paged ትኩረት የማስታወስ ችሎታን ሳያባክኑ ብዙ የውይይት ጥያቄዎችን ለማቅረብ የ KV መሸጎጫ በቋሚ መጠን ገፆች ማስተዳደር።

የጅምላ መጠንን ዝቅ ማድረግ ወይም የግራዲየንት ፍተሻን ማንቃት የማግበር ማህደረ ትውስታን ለመቁረጥ እና መከፋፈልን ከትውስታ ውጪ ያሉ ውድቀቶችን ለማስወገድ።

አደጋዎች እና የጥበቃ መንገዶች

አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።

የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.

ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።

የትግበራ ፍኖተ ካርታ

ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።

ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።

ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።

ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።

ማሰስዎን ይቀጥሉ

AI ቤንችማርኮች

ቴክኒካዊ አማራጮችን ሲያወዳድሩ ግምገማን በአግባቡ ይጠቀሙ።

መመሪያ ያንብቡ

የማጠናከሪያ ትምህርት

ወደ ቴክኒካዊ የሥልጠና ስልቶች በጥልቀት ይሂዱ።

መመሪያ ያንብቡ

Free newsletter

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the GPU Memory Management and Fragmentation quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

የጂፒዩ መርሐግብር እና የክላስተር ኦርኬስትራ

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is GPU Memory Management and Fragmentation?

የ AI ማዕቀፎች በጂፒዩ ላይ ያለውን ውስን ማህደረ ትውስታ እንዴት እንደሚመድቡ፣እንደገና እንደሚጠቀሙበት እና እንደሚያስመልሱ እና ለምን የተረፈ ክፍተቶች (ክፍልፋዮች) ከትውስታ ውጭ ስህተቶችን ሊያስከትሉ የሚችሉት ብዙ ማህደረ ትውስታ በቴክኒክ ደረጃ ቢሆንም። እሱን መረዳት ትልቅ ሞዴሎችን ለመግጠም እና ሚስጥራዊ ብልሽቶችን ለማስወገድ ቁልፍ ነው።

የጂፒዩ ማህደረ ትውስታ መከፋፈል ምንድነው?

መከፋፈል ማለት አጠቃላይ ነፃ ማህደረ ትውስታ በቂ ነው, ነገር ግን ተከፋፍሏል, ስለዚህ ምንም ነጠላ ክፍተት ለትልቅ ቴንሶር በቂ አይደለም.

ለምንድነው እንደ ፒቶርች ያሉ ማዕቀፎች መሸጎጫ ሚሞሪ አከፋፋይ የሚጠቀሙት?

ለእያንዳንዱ ኦፕ ወደ cudaMalloc/cudaFree መደወል አዝጋሚ ነው፣ ስለዚህ መሸጎጫ አከፋፋይ ትላልቅ ብሎኮችን ይይዛል እና የተፈቱትን ከመዋኛ ገንዳ እንደገና ይጠቀማል።

5 ጂቢ ነፃ ያያሉ ነገር ግን 2 ጂቢ ቴንስ መመደብ አይችሉም። መንስኤው ምን ሊሆን ይችላል?

ይህ ክላሲክ የመከፋፈል ምልክት የሚከሰተው ነፃ ማህደረ ትውስታ ሲኖር ነው ነገር ግን ለጥያቄው በቂ የሆነ እንደ አንድ ተከታታይ ቁራጭ አይደለም።

የማህደረ ትውስታ ክፍሎች በተለዋዋጭ እንዲያድጉ በመፍቀድ መከፋፈልን ለመቀነስ የሚረዳው የትኛው የፒቶርች መቼት ነው?

ሊሰፋ የሚችል_ክፍሎችን ለማንቃት PYTORCH_CUDA_ALLOC_CONFን ማቀናበር አመዳጁ ክፍሎችን እንዲያሳድግ እና ከመከፋፈል ጋር የተያያዙ ውድቀቶችን ይቀንሳል።

የvLLM PagedAttention በመረጃ ወቅት የማህደረ ትውስታ ብክነትን ለመቀነስ ምን ያስተዳድራል?

PagedAttention የKV መሸጎጫውን እንደ ስርዓተ ክወና ቨርቹዋል ማህደረ ትውስታ፣ ቁርጥራጭን በመቁረጥ እና ብዙ ጥያቄዎችን በብቃት በማገልገል ቋሚ መጠን ባላቸው ገፆች ያከማቻል።