Slurm لمجموعات تدريب الذكاء الاصطناعي
Slurm هو مدير أحمال عمل مفتوح المصدر يقوم بجدولة المهام وإدارتها على مجموعات حوسبة عالية الأداء، وقد أصبح خيارًا افتراضيًا للتدريب الكبير على الذكاء الاصطناعي.
نظرة عامة
هذا مهم لأنه يوزع تدريبات ضخمة بشكل موثوق عبر آلاف وحدات معالجة الرسومات.
الغوص العميق
نشأت Slurm (أداة Linux البسيطة لإدارة الموارد) في الحوسبة الفائقة وهي تعمل الآن على تشغيل العديد من أكبر مجموعات تدريب الذكاء الاصطناعي في العالم. يقوم المستخدمون بإرسال نصوص برمجية دفعة واحدة، ويطلبون موارد مثل العقد ووحدات معالجة الرسومات بتوجيهات مثل --gres=gpu:8 وقوائم انتظار Slurm، ويحددون الأولويات ويبدأون العمل. يعمل مشغل التشغيل الخاص به على توليد عمليات منسقة عبر العقد، والتي تقترن بشكل طبيعي مع الأطر الموزعة مثل PyTorch DDP وNCCL. يتتبع Slurm محاسبة الموارد، ويفرض حدود المشاركة العادلة والتقسيم، ويتعامل مع جدولة إعادة التعبئة لوضع المهام الصغيرة في الفجوات. بالنسبة للتدريب على النماذج الحدودية، تعتمد الفرق على Slurm لإدارة الآلاف من وحدات معالجة الرسومات، وإعادة التشغيل من نقاط التفتيش بعد فشل العقدة، والاحتفاظ بالسعة المخصصة لعمليات التشغيل الطويلة لعدة أسابيع.
البصيرة الفنية
يتخذ البرنامج الخفي لوحدة تحكم Slurm (slurmctld) قرارات الجدولة بينما يقوم وكيل slurmd الموجود على كل عقدة بتشغيل المهام وحالة التقارير. يقوم البرنامج الإضافي للموارد العامة (GRES) بتتبع وحدات معالجة الرسومات بحيث تطلبها الوظائف بشكل صريح. يقوم srun بتعيين متغيرات البيئة (الرتبة، الحجم العالمي، العنوان الرئيسي) التي توزع مكتبات التدريب المقروءة لتمهيد اتصال NCCL. تتيح جدولة إعادة التعبئة تشغيل المهام الأقصر في وقت مبكر طالما أنها لا تؤخر الحجوزات ذات الأولوية الأعلى، مما يحافظ على ارتفاع معدل الاستخدام.
التأثير الاستراتيجي
التكلفة والميزانية
تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
قرارات أوضح
يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
مراقبة الجودة
تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
مستقبل Slurm لمجموعات تدريب الذكاء الاصطناعي
يستمر Slurm في إضافة السحابة المتفجرة، ودعم الحاوية عبر Pyxis وEnroot، وميزات أكثر إحكامًا لوحدة معالجة الرسومات. مع توسع مجموعات الذكاء الاصطناعي نحو ما يزيد عن 100000 وحدة معالجة رسومات، توقع تحملًا أقوى للأخطاء، وتكاملًا تلقائيًا لإعادة تشغيل نقطة التفتيش، ووظائف مرنة يتم تغيير حجمها بعد الفشل. تقوم العديد من المؤسسات الآن بتشغيل Slurm جنبًا إلى جنب مع Kubernetes أو تحته، وتهدف برامج الجدولة المختلطة إلى الجمع بين كفاءة نمط الحوسبة عالية الأداء (HPC) والمرونة السحابية الأصلية لعمليات تدريب أكبر من أي وقت مضى.
التنفيذ في العالم الحقيقي
يطلق أحد المختبرات الحدودية تدريبًا يمتد لعدة أسابيع عبر الآلاف من وحدات معالجة الرسومات باستخدام برنامج نصي دفعة واحدة يطلب مئات العقد.
يرسل أحد الباحثين "srun --gres=gpu:8" للحصول على ثماني وحدات معالجة رسوميات على عقدة واحدة لتجربة PyTorch DDP.
تقوم جدولة إعادة التعبئة بفتح مهمة تقييم قصيرة في وحدات معالجة الرسومات الخاملة بينما تنتظر عملية تدريب كبيرة محجوزة للبدء.
بعد فشل العقدة في منتصف التشغيل، يعيد Slurm المهمة ويستأنفها من آخر نقطة تفتيش بدلاً من البدء من جديد.
المخاطر والدرابزين
يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
خارطة طريق التنفيذ
تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
المعيار في ظل ظروف التحميل والبيانات الواقعية.
مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Slurm for AI Training Clusters quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
مجموعات تدريب DeepSpeed وMegatron
الأسئلة المتداولة
ما هو تعقيم السلوك في مجموعات تدريب الذكاء الاصطناعي؟
Slurm هو مدير أحمال عمل مفتوح المصدر يقوم بجدولة المهام وإدارتها على مجموعات حوسبة عالية الأداء، وقد أصبح خيارًا افتراضيًا للتدريب الكبير على الذكاء الاصطناعي. إنه أمر مهم لأنه يوزع بشكل موثوق تدريبًا مكثفًا عبر الآلاف من وحدات معالجة الرسومات.
ما الأمر الذي يستخدمه المستخدمون عادةً لإرسال مهمة مجمعة إلى Slurm؟
يرسل sbatch برنامجًا نصيًا دفعيًا يصف الموارد والأوامر الخاصة بالمهمة إلى قائمة انتظار Slurm.
كيف تطلب مهمة Slurm وحدات معالجة الرسومات؟
يتيح نظام الموارد العامة (GRES) للوظائف طلب وحدات معالجة الرسومات بشكل صريح، على سبيل المثال --gres=gpu:8.
ما هو مكون Slurm الذي يتخذ قرارات الجدولة المركزية؟
slurmctld هو برنامج التحكم الخفي الذي يقوم بجدولة المهام، بينما يعمل slurmd على كل عقدة لبدء المهام.
لماذا يقترن srun جيدًا بأطر التدريب الموزعة مثل PyTorch DDP؟
يقوم srun بتشغيل المهام المتزامنة عبر العقد ويوفر معلومات الرتبة والعنوان الرئيسي التي تستخدمها المكتبات الموزعة للتمهيد.
ما هو الغرض من جدولة الردم في Slurm؟
تعمل عملية الردم على تحسين الاستخدام من خلال ملاءمة المهام الأصغر في فجوات الجدولة طالما أنها لا تؤدي إلى إرجاع الوظائف المحجوزة.