التاليالدليل التالي
تحسين تكلفة السحابة لأعباء عمل التعلم الآلي
التقنية
الدليل الفني
Kubernetes لأحمال عمل ML
Kubernetes هو نظام مفتوح المصدر يقوم تلقائيًا بجدولة البرامج الموجودة في حاويات وتوسيع نطاقها وإعادة تشغيلها عبر مجموعة من الأجهزة.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
For machine learning, it lets teams pack GPU-hungry training jobs and latency-sensitive model servers onto shared hardware without babysitting individual servers.
الغوص العميق
تم إنشاء Kubernetes في الأصل في Google لتشغيل خدمات الويب، ويتعامل مع مجموعتك على أنها مجموعة واحدة كبيرة من وحدة المعالجة المركزية والذاكرة ووحدات معالجة الرسومات، ثم يقرر الجهاز الذي يقوم بتشغيل كل حاوية. تعتمد فرق تعلم الآلة عليها لأن أعباء العمل متقطعة ومكلفة: قد يحتاج تشغيل التدريب إلى ثماني وحدات معالجة رسوميات لمدة ست ساعات، ثم لا شيء. يقوم Kubernetes بجدولة ذلك الوضع على عقدة تحتوي على وحدات معالجة رسومات مجانية، وعندما تنتهي المهمة، فإنه يحرر الأجهزة. كما أنه يحافظ على خوادم الاستدلال حية، ويعيد تشغيل الحاويات المتعطلة وينشر النسخ المتماثلة عبر الأجهزة من أجل المرونة. تضيف الأدوات المبنية في الأعلى، مثل Kubeflow وRay وKServe، أجزاء خاصة بالتعلم الآلي مثل مشغلي التدريب الموزع، وضبط المعلمات الفائقة، ونقاط نهاية النموذج ذات القياس التلقائي، بحيث يعمل علماء البيانات مع تجريدات عالية المستوى بدلاً من YAML الخام.
التنفيذ في العالم الحقيقي
يستخدم مختبر الأبحاث مشغل تدريب Kubeflow لإطلاق مهمة تدريب موزعة على 32 وحدة معالجة رسومات PyTorch عبر أربع عقد، ثم يقوم تلقائيًا بتحرير وحدات معالجة الرسومات عندما تتقارب.
تقدم إحدى شركات التجارة الإلكترونية نموذج التوصية الخاص بها مع KServe، والذي يقوم تلقائيًا بتوسيع نطاق النسخ المتماثلة أثناء عملية البيع السريعة والتراجع عنها بين عشية وضحاها.
يدير البنك وظائف تسجيل الدفعات ليلاً مثل Kubernetes CronJobs، ويضعها في قائمة الانتظار على عقد وحدة المعالجة المركزية الاحتياطية حتى لا تتنافس مع حركة مرور الخدمة أثناء النهار.
تستخدم إحدى الشركات الناشئة Ray on Kubernetes لإجراء عمليات مسح متوازية للمعلمات الفائقة، وتدوير العشرات من الكبسولات التجريبية قصيرة العمر على المثيلات الفورية لخفض التكلفة.
مستقبل Kubernetes لأحمال عمل ML
Teams can combine queue admission, suitable GPU resource exposure, and topology-aware placement with their ML workload controllers. Group admission helps avoid partial worker allocation, while model servers may support scale-to-zero with an appropriate serving configuration. These behaviors depend on installed components and settings. Operators should test recovery, resource limits, interconnects, and cold-start latency rather than assume the container orchestrator alone supplies every training or serving feature.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Kubernetes for ML Workloads quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
What is Kubernetes for ML Workloads?
Kubernetes هو نظام مفتوح المصدر يقوم تلقائيًا بجدولة البرامج الموجودة في حاويات وتوسيع نطاقها وإعادة تشغيلها عبر مجموعة من الأجهزة. بالنسبة للتعلم الآلي، فهو يتيح للفرق حزم مهام التدريب المتعطشة لوحدة معالجة الرسومات والخوادم النموذجية الحساسة لزمن الوصول إلى الأجهزة المشتركة دون رعاية الخوادم الفردية.
ما هي الوظيفة الأساسية لمجدول Kubernetes لأحمال عمل ML؟
يقوم المجدول بمطابقة طلبات موارد الكبسولة (وحدة المعالجة المركزية والذاكرة ووحدات معالجة الرسومات) مع العقد المتاحة ويضع الكبسولة في المكان الذي يناسبها. لا يلمس رمز النموذج أو البيانات.
كيف يقوم Kubernetes عادةً بإتاحة وحدات معالجة الرسومات للجراب؟
تعرض المكونات الإضافية للأجهزة وحدات معالجة الرسومات كمورد قابل للجدولة (على سبيل المثال، nvidia.com/gpu)، مما يسمح للقرون بطلبها وتتبع توفر المجدول.
With a NoSchedule taint on a GPU node, what does a matching pod toleration do?
A toleration removes the matching taint barrier. Other resource and scheduling requirements still apply.
ما الأداة التي تضيف إمكانات خاصة بتعلم الآلة مثل مشغلي التدريب الموزع أعلى Kubernetes؟
يقوم Kubeflow بوضع طبقات سير عمل ML على Kubernetes، بما في ذلك تدريب المشغلين وخطوط الأنابيب والضبط، بحيث تتجنب الفرق الكتابة اليدوية لتكوين المجموعة منخفض المستوى.
لماذا يعتبر Kubernetes مناسبًا تمامًا لأحمال عمل ML المتقطعة؟
التدريب شائك: الكثير من وحدات معالجة الرسومات لفترة وجيزة، ثم لا شيء. يقوم Kubernetes بوضع المهمة عندما تكون الموارد مجانية ويطلقها عند الانتهاء، مما يؤدي إلى تحسين الاستخدام.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع