የፍተሻ ነጥብ ማጋራት እና ሊቀጥል የሚችል ስልጠና
የሞዴሉን የሥልጠና ሁኔታ በቁርጭምጭሚት (shards) ለማዳን የሚረዱ ቴክኒኮች ስለዚህ ግዙፍ ሞዴሎች በሚሞሪ ወይም በዲስክ ወሰን ሳይታነቁ ይድናሉ እና እንደገና ይጫናሉ ፣ እናም የተበላሸ ሩጫ በትክክል ካቆመበት ሊወስድ ይችላል።
አጠቃላይ እይታ
Essential for any training job that runs for days or weeks across many GPUs.
ጥልቅ ዳይቭ
የሥልጠና ፍተሻ ነጥብ ከቆመበት ለመቀጠል የሚያስፈልገው የሁሉም ነገር ቅጽበታዊ ገጽ እይታ ነው፡ የሞዴል ክብደት፣ አመቻች ግዛቶች፣ የመማሪያ ደረጃ መርሐግብር፣ የውሂብ ጫኚው አቀማመጥ እና የዘፈቀደ ቁጥር ጄኔሬተር ዘሮች። ለትልቅ ሞዴሎች ይህ ቅጽበታዊ ገጽ እይታ በመቶዎች የሚቆጠሩ ጊጋባይት ሊሆን ይችላል፣ ለአንድ ፋይል ወይም ለአንድ ማሽን ማህደረ ትውስታ በጣም ትልቅ ነው። የፍተሻ ነጥብ መጋራት በብዙ ፋይሎች እና ብዙ ደረጃዎች ላይ ቅጽበታዊ ገጽ እይታን ስለሚከፋፍል እያንዳንዱ ጂፒዩ በትይዩ የራሱን ቁራጭ ብቻ ይጽፋል። እንደገና ሊጀምር የሚችል ስልጠና እነዚያን ፍርስራሾች እንደገና ይጭናል እና ሙሉ ሁኔታውን በትክክል ይመልሳል። ያለሱ፣ በሰአት 200 የሚበላሽ የብዙ ሳምንት ሩጫ ከባዶ መጀመር አለበት። እንደ ፒይቶርች የተከፋፈለ ፍተሻ፣ DeepSpeed እና Hugging Face Hub የተበጣጠሰ ሴፍተንስተሮች ቅርጸት ያሉ መዋቅሮች ይህንን መደበኛ ያደርገዋል።
ቴክኒካዊ ግንዛቤ
ሻርዲንግ ይሰራል ምክንያቱም የተከፋፈለ ስልጠና ክብደቶችን እና አመቻቾችን በየደረጃው ስለሚከፋፍል (በመረጃ፣ tensor ወይም ZeRO ትይዩነት)። እያንዳንዱ ደረጃ ክፍፍሉን ብቻ ነው የሚይዘው፣ ብዙ ጊዜ እንደ ሴፍቴንስተሮች ቅርጸቶች ሰነፍ፣ ትውስታ-ካርታ ያለው ጭነት ይፈቅዳል። የመረጃ ጠቋሚ ፋይል ወደ ሻርድ ፋይሎች መለኪያዎችን ያዘጋጃል። በቁርጠኝነት ከቆመበት ለመቀጠል ስርዓቱ እንዲሁ የ RNG ግዛቶችን ፣ አመቻችውን የእርምጃ ቆጠራ እና ትክክለኛው የውሂብ ጫኝ ማካካሻን ይቀጥላል ፣ ስለዚህ ድጋሚው ተመሳሳይ ተከታታይ ስብስቦችን ይደግማል።
ስልታዊ ተጽእኖ
ወጪ እና በጀት
የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.
ግልጽ ውሳኔዎች
የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።
የጥራት ቁጥጥር
የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.
የፍተሻ ነጥብ ማሻሻያ እና ቀጣይነት ያለው ስልጠና የወደፊት ዕጣ
የፍተሻ ማመሳከሪያ በየጊዜው ከዓለም መቆሚያ ክስተት ወደ ያልተመሳሰለ እና ወደ ነጻ የሚጠጋ ነገር እየተሸጋገረ ነው። ስልጠና በሚቀጥልበት ጊዜ ከበስተጀርባ ፍርስራሾችን የሚጽፍ ተጨማሪ የማስታወስ እና የተደራረበ የፍተሻ ነጥብ ይጠብቁ፣ በተጨማሪም በሺህ-ጂፒዩ ሚዛን የተለመዱ የመስቀለኛ መንገዶችን ውድቀቶች የሚተርፉ ኮድ የተደረደሩ እና የተደጋገሙ ፍተሻዎችን ይጠብቁ። የክላውድ ዕቃ ማከማቻዎች እና ፈጣን የአካባቢ NVMe እርከኖች ሻርዶችን ያስተናግዳሉ፣ እና እንደ safetensors ያሉ ደረጃቸውን የጠበቁ ቅርጸቶች ደህንነታቸው የተጠበቀ፣ ፈጣን፣ ከፊል ጭነት ለሁለቱም የስልጠና ዳግም ማስጀመር እና የማጣቀሻ ማሰማራትን ይቀጥላሉ።
የእውነተኛ-ዓለም አተገባበር
የድንበር-ሞዴል በሺዎች በሚቆጠሩ ጂፒዩዎች ላይ የሚሰራ ሲሆን የተቆራረጡ የፍተሻ ነጥቦችን በየጥቂት መቶ ደረጃዎች በራስሰር የሚያድን ስለዚህ አንድ ያልተሳካ መስቀለኛ መንገድ ቀናትን ሳይሆን ደቂቃዎችን ብቻ ያስከፍላል።
የመተቃቀፍ ፊት ትልቅ ክፍት ሞዴል እንደ ብዙ ሴፍተንስሰር ሸርተቴ እና ኢንዴክስ.json በማሰራጨት ተጠቃሚዎች በማውረድ እና በክፍል እንዲጭኑት።
ያለችግር ለመቀጠል ትክክለኛውን የአመቻች ፍጥነት፣ የእርምጃ ብዛት እና የውሂብ ጫኚ ቦታን የሚመልስ ተመራማሪ የተቋረጠውን ጥሩ ዜማ እንደገና ቀጥሏል።
በርካሽ ሊገመቱ በሚችሉ የደመና ጂፒዩዎች ላይ የስፖት-ምሳሌ ስልጠና፣ ተደጋጋሚ የተቆራረጡ የፍተሻ ነጥቦች ስራው ከመባረሩ እና ለሌላ ጊዜ እንዲቀጠር ያስችለዋል።
አደጋዎች እና የጥበቃ መንገዶች
አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።
የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.
ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።
የትግበራ ፍኖተ ካርታ
ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።
ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።
ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።
ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።
ማሰስዎን ይቀጥሉ
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Checkpoint Sharding and Resumable Training quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
ቀጣይ መመሪያ
ለአይአይ ማሰልጠኛ ስብስቦች ግርግር
በተደጋጋሚ የሚጠየቁ ጥያቄዎች
What is Checkpoint Sharding and Resumable Training?
የሞዴሉን የሥልጠና ሁኔታ በቁርጭምጭሚት (shards) ለማዳን የሚረዱ ቴክኒኮች ስለዚህ ግዙፍ ሞዴሎች በሚሞሪ ወይም በዲስክ ወሰን ሳይታነቁ ይድናሉ እና እንደገና ይጫናሉ ፣ እናም የተበላሸ ሩጫ በትክክል ካቆመበት ሊወስድ ይችላል። ለብዙ ጂፒዩዎች ለቀናት ወይም ለሳምንታት ለሚሰራ ለማንኛውም የስልጠና ስራ አስፈላጊ ነው።
ለምንድን ነው ትላልቅ-ሞዴል የፍተሻ ኬላዎች ወደ ስብርባሪዎች የተከፋፈሉት?
ግዙፍ የፍተሻ ነጥቦች (በመቶዎች የሚቆጠር ጂቢ) እንደ አንድ ፋይል ተግባራዊ ሊሆኑ አይችሉም። ሻርዲንግ ብዙ ደረጃዎች ክፍሎቻቸውን በትይዩ እንዲጽፉ ያስችላቸዋል እና ቁራጭ መጫንን ያስችላል።
ከአምሳያው ክብደቶች በተጨማሪ፣ እንደገና ሊቋቋም የሚችል የፍተሻ ነጥብ በተለምዶ ምን ማስቀመጥ አለበት?
በትክክል ከቆመበት ለመቀጠል፣ የፍተሻ ነጥቡ አመቻቾችን፣ የዘፈቀደ-ቁጥር-ጄኔሬተር ግዛቶችን፣ የእርምጃ ቆጠራውን እና የውሂብ ጫኚው ያቆመበትን ያከማቻል።
ለረጅም ስራዎች እንደገና ሊጀምር የሚችል ስልጠና ዋናው ጥቅም ምንድን ነው?
ሊደገሙ በሚችሉ የፍተሻ ኬላዎች፣ የተቋረጠው ሩጫ የመጨረሻውን የተቀመጠበትን ሁኔታ እንደገና ይጭናል እና ይቀጥላል፣ የስሌት ቀናትን ከመወርወር ይልቅ።
እያንዳንዱ የጂፒዩ ደረጃ አብዛኛውን ጊዜ ለተቆራረጠ የፍተሻ ነጥብ እንዴት አስተዋጽኦ ያደርጋል?
የተከፋፈለ ስልጠና ሞዴሉን በደረጃዎች ስለሚከፋፍል፣ እያንዳንዱ ደረጃ የራሱን ቁራጭ ብቻ ይጽፋል፣ ይህም ቁጠባ ትይዩ እና ማህደረ ትውስታን ቀልጣፋ ያደርገዋል።
የመረጃ ጠቋሚ ፋይል በተቆራረጡ የፍተሻ ነጥቦች ውስጥ ምን ሚና ይጫወታል?
ኢንዴክስ (ለምሳሌ፡ index.json) የትኛውን ሸርተቴ እያንዳንዱን መለኪያ እንደሚይዝ ይመዘግባል ስለዚህ ጫኚዎች ትክክለኛዎቹን ቁርጥራጮች አምጥተው እንደገና እንዲገጣጠሙ።