ለአይአይ ማሰልጠኛ ስብስቦች ግርግር
Slurm ከፍተኛ አፈጻጸም ባላቸው የኮምፒውተር ስብስቦች ላይ መርሐግብር የሚያወጣ እና የሚያስኬድ ክፍት ምንጭ የሥራ ጫና አስተዳዳሪ ነው፣ እና ለትልቅ AI ስልጠና ነባሪ ምርጫ ሆኗል።
አጠቃላይ እይታ
It matters because it reliably distributes massive training runs across thousands of GPUs.
ጥልቅ ዳይቭ
Slurm (ቀላል የሊኑክስ መገልገያ ለሀብት አስተዳደር) በሱፐር ኮምፒዩቲንግ የመነጨ ሲሆን አሁን ብዙዎቹን የአለም ትላልቅ የኤአይ ማሰልጠኛ ስብስቦችን ያበረታታል። ተጠቃሚዎች ባች ስክሪፕቶችን በsbatch ያስገባሉ፣ እንደ ኖዶች እና ጂፒዩዎች ካሉ መመሪያዎች ጋር እንደ --gres=gpu:8 እና Slurm queues ይጠይቃሉ፣ ቅድሚያ ይሰጣሉ እና ስራውን ያስጀምራሉ። የእሱ srun ማስጀመሪያ በመስቀለኛ መንገድ ላይ የተቀናጁ ሂደቶችን ያፈልቃል፣ እነዚህም በተፈጥሮ ከተከፋፈሉ እንደ ፒይቶርች ዲዲፒ እና NCCL ካሉ ማዕቀፎች ጋር ይጣመራሉ። Slurm የሀብት ሒሳብን ይከታተላል፣ ፍትሃዊ ድርሻን እና የክፍልፍል ገደቦችን ያስፈጽማል፣ እና አነስተኛ ስራዎችን ወደ ክፍተት ለማስገባት የኋላ ሙሌት መርሃ ግብርን ይቆጣጠራል። ለድንበር ሞዴል ስልጠና ቡድኖቹ በሺዎች የሚቆጠሩ ጂፒዩዎችን ለማስተዳደር በ Slurm ላይ ይተማመናሉ፣ የመስቀለኛ መንገድ አለመሳካቶችን ከፈተሹ በኋላ እንደገና ለመጀመር እና ለረጅም ጊዜ ለብዙ ሳምንት ሩጫዎች የተወሰነ አቅም ያስይዙ።
ቴክኒካዊ ግንዛቤ
Slurm controller daemon (slurmctld) የመርሐግብር ውሳኔዎችን ሲወስን በእያንዳንዱ መስቀለኛ መንገድ ላይ ያለ slurmd ወኪል ተግባራትን ሲጀምር እና ሁኔታውን ሪፖርት ያደርጋል። የጄኔሪክ ሪሶርስ (GRES) ፕለጊን ጂፒዩዎችን ይከታተላል ስለዚህ ስራዎች በግልጽ ይጠይቃቸዋል። srun የሥልጠና ቤተ መጻሕፍት የሚያሰራጩ የአካባቢ ተለዋዋጮችን (ደረጃ፣ የዓለም መጠን፣ ዋና አድራሻ) ያዘጋጃል። Backfill መርሐግብር ከፍተኛ ቅድሚያ የሚሰጣቸውን ቦታዎች እስካልዘገዩ ድረስ አጠር ያሉ ሥራዎች ቀደም ብለው እንዲሠሩ ያስችላቸዋል፣ ይህም አጠቃቀሙን ከፍ ያደርገዋል።
ስልታዊ ተጽእኖ
ወጪ እና በጀት
የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.
ግልጽ ውሳኔዎች
የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።
የጥራት ቁጥጥር
የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.
ለአይአይ ማሰልጠኛ ስብስቦች የ Slurm የወደፊት
Slurm የደመና-ፍንዳታ፣ የመያዣ ድጋፍ በPyxis እና Enroot እና ጥብቅ ጂፒዩ የሚያውቁ ባህሪያትን መጨመሩን ቀጥሏል። AI ዘለላዎች ወደ 100,000-ፕላስ ጂፒዩዎች ሲመዘኑ፣ ጠንከር ያለ የስህተት መቻቻል፣ ራስ-ሰር የፍተሻ ነጥብ-ዳግም ማስጀመሪያ ውህደት እና ከውድቀት በኋላ የሚለወጡ የመለጠጥ ስራዎች ይጠብቁ። ብዙ ድርጅቶች አሁን ከኩበርኔትስ ጎን ወይም በታች Slurm ን ያካሂዳሉ፣ እና የድብልቅ መርሐግብር አውጪዎች ዓላማቸው የHPC-style ቅልጥፍናን ከደመና-ተወላጅ ተለዋዋጭነት ለዘለዓለም ትልቅ የሥልጠና ሩጫዎች ማዋሃድ ነው።
የእውነተኛ-ዓለም አተገባበር
የድንበር ላብራቶሪ በብዙ ሺዎች በሚቆጠሩ ጂፒዩዎች ላይ ባለ አንድ ነጠላ ስክሪፕት በመቶዎች የሚቆጠሩ ኖዶችን የሚጠይቅ የብዙ ሳምንት የሥልጠና ሩጫ ይጀምራል።
አንድ ተመራማሪ ለPyTorch DDP ሙከራ በአንድ መስቀለኛ መንገድ ላይ ስምንት ጂፒዩዎችን ለመያዝ 'srun --gres=gpu:8' አስረክቧል።
Backfill መርሐግብር አጠር ያለ የግምገማ ሥራ ወደ ሥራ ፈት ጂፒዩዎች ያስቀምጣል። ትልቅ የተያዘ የሥልጠና ሩጫ ለመጀመር ይጠብቃል።
አንድ መስቀለኛ መንገድ በሩጫ አጋማሽ ላይ ካልተሳካ በኋላ፣ Slurm ስራውን ይጠይቃል እና እንደገና ከመጀመር ይልቅ ከቅርብ ጊዜው የፍተሻ ነጥብ ይቀጥላል።
አደጋዎች እና የጥበቃ መንገዶች
አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።
የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.
ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።
የትግበራ ፍኖተ ካርታ
ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።
ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።
ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።
ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።
ማሰስዎን ይቀጥሉ
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Slurm for AI Training Clusters quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
ቀጣይ መመሪያ
DeepSpeed እና Megatron ስልጠና ቁልል
በተደጋጋሚ የሚጠየቁ ጥያቄዎች
What is Slurm for AI Training Clusters?
Slurm ከፍተኛ አፈጻጸም ባላቸው የኮምፒውተር ስብስቦች ላይ መርሐግብር የሚያወጣ እና የሚያስኬድ ክፍት ምንጭ የሥራ ጫና አስተዳዳሪ ነው፣ እና ለትልቅ AI ስልጠና ነባሪ ምርጫ ሆኗል። በሺዎች በሚቆጠሩ ጂፒዩዎች ውስጥ ግዙፍ የስልጠና ሂደቶችን በአስተማማኝ መልኩ ስለሚያሰራጭ አስፈላጊ ነው።
ተጠቃሚዎች ባች ሥራን ለ Slurm ለማስገባት ምን ዓይነት ትዕዛዝ ይጠቀማሉ?
sbatch ንብረቱን የሚገልጽ እና ለአንድ ሥራ ትእዛዝን ወደ Slurm ወረፋ የሚያቀርብ የቡድን ስክሪፕት ያቀርባል።
የ Slurm ሥራ እንዴት ጂፒዩዎችን ይጠይቃል?
አጠቃላይ የመረጃ ምንጭ (GRES) ስርዓት ስራዎች ጂፒዩዎችን በግልፅ እንዲጠይቁ ያስችላቸዋል፣ ለምሳሌ --gres=gpu:8።
የትኛው Slurm አካል ማዕከላዊ መርሐግብር ውሳኔ ያደርጋል?
slurmctld ስራዎችን መርሐግብር የሚያወጣ ተቆጣጣሪ ዴሞን ነው፣ slurmd ደግሞ ተግባሮችን ለመጀመር በእያንዳንዱ መስቀለኛ መንገድ ላይ ይሰራል።
ለምንድነው ከ PyTorch DDP ከተሰራጩ የሥልጠና ማዕቀፎች ጋር በደንብ የሚጣመረው?
srun በመስቀለኛ መንገድ ላይ የተመሳሰሉ ተግባራትን ይጀምራል እና የተከፋፈሉ ቤተ-መጻሕፍት ለመነሳት የሚጠቀሙበትን የደረጃ እና ዋና አድራሻ መረጃ ይሰጣል።
በ Slurm ውስጥ የመሙላት መርሃ ግብር ዓላማ ምንድነው?
Backfill የተያዙ ስራዎችን ወደ ኋላ እስካልገፉ ድረስ ትናንሽ ስራዎችን ወደ የጊዜ ሰሌዳ በማዘጋጀት አጠቃቀሙን ያሻሽላል።