ZeRO እና Sharded Optimizers
ዜሮ (ዜሮ ተደጋጋሚነት አመቻች) አመቻች ሁኔታን፣ ቅልመትን እና ክብደትን በጂፒዩዎች ላይ በመከፋፈል የውሂብ ትይዩ ያለውን አባካኝ የማህደረ ትውስታ ብዜት ያስወግዳል።
አጠቃላይ እይታ
It lets you train enormous models with the simplicity of data parallelism but a fraction of the per-GPU memory.
ጥልቅ ዳይቭ
በተለመደው የዳታ ትይዩ እያንዳንዱ ጂፒዩ እጅግ በጣም ብዙ አባካኝ የሆነውን የአመቻች ሁኔታን፣ ቅልመትን እና መለኪያዎችን ያከማቻል፣ ይህም በተለይ ለአዳም፣ አመቻች ሁኔታ ከአምሳያው ራሱ ብዙ እጥፍ ሊበልጥ ይችላል። በ DeepSpeed ውስጥ በMicrosoft የተዋወቀው ዜሮ እነዚህን ተንከሮች በጂፒዩዎች ላይ በመከፋፈል እያንዳንዱ መሳሪያ አንድ ቁራጭ ብቻ እንዲይዝ በማድረግ ይህንን ድግግሞሽ ያስወግዳል። ዜሮ በሦስት ተራማጅ ደረጃዎች ይመጣል፡ ደረጃ 1 የሻርዶች አመቻች ሁኔታ፣ ደረጃ 2 የግራዲየንት ሻርዲንግ ይጨምራል፣ እና ደረጃ 3 እራሳቸው መለኪያዎችን ያዘጋጃል። እንደአስፈላጊነቱ፣ ጂፒዩዎች የጎደሉትን ቁርጥራጮች በመገናኛ በኩል ይሰበስባሉ፣ ያሰሉ እና ከዚያ ይለቃሉ። ውጤቱ ከቢሊየን እስከ ትሪሊየን የሚደርሱ መለኪያዎችን በማሰልጠን በጂፒዩ እጅግ በጣም ያነሰ የማስታወስ ችሎታ ያለው ሲሆን ይህም የመረጃ ትይዩ ቀላል የፕሮግራም አወጣጥ ሞዴል ነው።
ቴክኒካዊ ግንዛቤ
ዜሮ ለማህደረ ትውስታ ቁጠባ ተጨማሪ ግንኙነትን ይገበያያል። በደረጃ 3፣ ከንብርብር ወደ ፊት ከማለፉ በፊት ሁሉም ሰብሳቢ የንብርብሩን ሙሉ መለኪያዎች በእያንዳንዱ ጂፒዩ ላይ ይሰበስባል። ከዚያ በኋላ የማስታወስ ችሎታን ለማግኘት በባለቤትነት ያልተያዙ ቁርጥራጮች ይጣላሉ። ቀስ በቀስ የተበታተኑ ናቸው ስለዚህ እያንዳንዱ ጂፒዩ ከራሱ መለኪያዎች ጋር የሚዛመድ የግራዲየንት ቁራጭ ብቻ ያቆያል። PyTorch's FSDP (Fully Sharded Data Parallel) ተመሳሳዩን ሃሳብ በትውልድ ይተገበራል፣ ሞጁሎችን ወደ ሸርተቴ በመጠቅለል እና እንደገና በራሪ ላይ ይሽራል።
ስልታዊ ተጽእኖ
ወጪ እና በጀት
የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.
ግልጽ ውሳኔዎች
የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።
የጥራት ቁጥጥር
የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.
የዜሮ እና የሻርድድ አመቻቾች የወደፊት ዕጣ
ሻርዲንግ ለየት ያለ አማራጭ ሳይሆን ለትላልቅ ስልጠና ነባሪ እየሆነ ነው። ከማውረድ ጋር ጠለቅ ያለ ውህደትን ይጠብቁ (ቁራጮችን ወደ ሲፒዩ ወይም ኤንቪኤም በZRO-Infinity በመግፋት) ፣ ሁሉንም መሰብሰብ እና ዋጋቸውን ለመደበቅ በተሻለ ሁኔታ መደራረብ ፣ እና ከ tensor እና pipeline parallelism ጋር ጥምረት። ሞዴሎች እያደጉ ሲሄዱ፣ ማህደረ ትውስታ-ውጤታማ የሻርድ አመቻቾች በእውነተኛ የሃርድዌር በጀቶች ላይ ለመገጣጠም ማዕከላዊ ናቸው።
የእውነተኛ-ዓለም አተገባበር
DeepSpeed ZeRO Stage 2 ን በመጠቀም የጂፒዩ ማህደረ ትውስታን ከመጠን በላይ የሚያፈስ ባለብዙ-ቢሊዮን መለኪያ የቋንቋ ሞዴልን በጥሩ ሁኔታ ለማስተካከል።
በጂፒዩዎች ላይ መለኪያዎችን፣ ግሬዲየንቶችን እና አመቻች ሁኔታን በሚቆርጥ እና በፍላጎት በንብርብር በሚሰበስበው ከPyTorch FSDP ጋር ማሰልጠን።
አመቻች ሁኔታን ወደ ሲፒዩ ማህደረ ትውስታ ለመግፋት ZeRO-Offloadን በመተግበር አንድ ነጠላ ጂፒዩ አንድን ሞዴል ከቪራም ብዙ እጥፍ የሚበልጥ እንዲያሰለጥን ያስችለዋል።
ጂፒዩ እና ሲፒዩ ማህደረ ትውስታ ሲያልቅ ከNVMe ማከማቻ የመለኪያ ሸርቆችን በዥረት በመልቀቅ የትሪሊዮን መለኪያ ሞዴልን ከዜሮ-ኢንፊኒቲ ጋር ማመጣጠን።
አደጋዎች እና የጥበቃ መንገዶች
አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።
የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.
ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።
የትግበራ ፍኖተ ካርታ
ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።
ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።
ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።
ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።
ማሰስዎን ይቀጥሉ
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ZeRO and Sharded Optimizers quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
ቀጣይ መመሪያ
Lookhead እና Lion Optimizers
በተደጋጋሚ የሚጠየቁ ጥያቄዎች
What is ZeRO and Sharded Optimizers?
ዜሮ (ዜሮ ተደጋጋሚነት አመቻች) አመቻች ሁኔታን፣ ቅልመትን እና ክብደትን በጂፒዩዎች ላይ በመከፋፈል የውሂብ ትይዩ ያለውን አባካኝ የማህደረ ትውስታ ብዜት ያስወግዳል። እጅግ በጣም ብዙ ሞዴሎችን በመረጃ ትይዩ ቀላልነት ነገር ግን ከጂፒዩ ማህደረ ትውስታ ክፍልፋይ እንዲያሰልጥኑ ያስችልዎታል።
ዜሮ ምን ዓይነት ድግግሞሽን ያስወግዳል ግልጽ ውሂብ ትይዩ ጋር ሲነጻጸር?
መደበኛ የውሂብ ትይዩ በእያንዳንዱ ጂፒዩ ላይ የአመቻች ሁኔታ፣ ቅልመት እና ክብደት ሙሉ ቅጂ ያከማቻል። እያንዳንዱ ጂፒዩ አንድ ቁራጭ ብቻ እንዲይዝ እነዚህን ዜሮ ፍርስራሾች።
ለምንድን ነው አመቻች ሁኔታ ብዙውን ጊዜ ከአዳም ጋር ትልቁ የማስታወሻ ሆግ የሆነው?
አዳም በአንድ መለኪያ እንደ የመጀመሪያ እና ሁለተኛ አፍታዎች ያሉ የሩጫ ግምቶችን ያቆያል፣ይህም ከfp32 ዋና ክብደት ጋር ተዳምሮ የአምሳያው መጠን እንዲቀንስ ያደርገዋል።
ደረጃዎች 1 እና 2 የማያደርጉት ዜሮ ደረጃ 3 ምንድ ነው?
ደረጃ 1 የሻርዶች አመቻች ሁኔታ፣ ደረጃ 2 ቅልመትን ይጨምራል፣ እና ደረጃ 3 በጂፒዩዎችም ላይ የሞዴል መለኪያዎችን በማካለል የበለጠ ይሄዳል።
በዜሮ ደረጃ 3 ውስጥ፣ ጂፒዩ ለአንድ ንብርብር ማስተላለፍ የሚያስፈልገውን ሙሉ መለኪያዎች እንዴት ያገኛል?
አንድን ንብርብር ከመቁጠርዎ በፊት አንድ ሁለገብ ሰብሳቢ በእያንዳንዱ ጂፒዩ ላይ ሙሉ መለኪያዎችን ይሰበስባል; አንዴ ከተጠናቀቀ፣ በባለቤትነት ያልተያዙ ቁርጥራጮች ማህደረ ትውስታን መልሰው ለማግኘት ነፃ ናቸው።
የZero-style shardingን በቤተኛ የሚተገበረው የPyTorch ባህሪ የትኛው ነው?
የፒቶርች ሙሉ የተጨራረስ ዳታ ትይዩ (FSDP) የሻርዶች መለኪያዎች፣ ቅልመት እና አመቻች ሁኔታ፣ በመብረር ላይ ሰብስቦ እንደገና በማጋራት፣ ዜሮን በማንፀባረቅ።