الدليل الفني
مجموعات تدريب DeepSpeed وMegatron
تعد DeepSpeed (Microsoft) وMegatron-LM (NVIDIA) من البرامج التي تجعل نماذج التدريب التي تحتوي على مليارات المعلمات عبر آلاف وحدات معالجة الرسومات ممكنة بالفعل.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
وبدونها، لن تتمكن النماذج الرائدة اليوم من استيعاب الذاكرة أو إنهاء التدريب في وقت معقول.
الغوص العميق
من المستحيل تدريب نموذج كبير على وحدة معالجة رسومات واحدة لأن الأوزان والتدرجات وحالات المُحسِّن غير مناسبة. تقوم هذه الأكوام بتقسيم العمل عبر العديد من وحدات معالجة الرسومات. كانت Megatron-LM رائدة في التوازي الموتر، حيث تقوم بتقطيع مضاعفات المصفوفة الفردية داخل كل طبقة عبر وحدات معالجة الرسوميات، بالإضافة إلى توازي خطوط الأنابيب، الذي يضع طبقات مختلفة على وحدات معالجة رسوميات مختلفة. مساهمة DeepSpeed المميزة هي ZeRO (Zero Redundancy Optimizer)، والتي تعمل على تقسيم حالات المُحسِّن والتدرجات والمعلمات عبر وحدات معالجة الرسومات بدلاً من تكرارها، مما يؤدي إلى قطع الذاكرة لكل وحدة معالجة رسومات بشكل كبير. غالبًا ما يتم الجمع بين الاثنين (Megatron-DeepSpeed) لتدريب نماذج مثل BLOOM-176B وMegatron-Turing NLG. كما أنها تضيف دقة مختلطة، وفحص التنشيط، والتفريغ إلى وحدة المعالجة المركزية (CPU) أو NVMe، لذا يتم تدريب النماذج الضخمة على أجهزة محدودة.
التنفيذ في العالم الحقيقي
تدريب نموذج BLOOM-176B المفتوح متعدد اللغات باستخدام مجموعة Megatron-DeepSpeed المدمجة عبر مئات وحدات معالجة الرسومات.
Microsoft وNVIDIA يدربان نموذج Megatron-Turing NLG الذي يحتوي على 530 مليار معلمة مع التوازي ثلاثي الأبعاد.
يسمح تطبيق ZeRO-Offload للباحثين بضبط النماذج ذات المليارات من المعلمات على وحدة معالجة الرسومات لمحطة عمل واحدة عن طريق نقل حالات المُحسِّن إلى ذاكرة الوصول العشوائي لوحدة المعالجة المركزية.
استخدام فحص التنشيط في هذه الأكوام لملاءمة نوافذ السياق الأطول عن طريق إعادة حساب عمليات التنشيط بدلاً من تخزينها جميعًا.
مستقبل مجموعات تدريب DeepSpeed وMegatron
توقع تكاملًا أكثر إحكامًا مع FSDP الأصلي لـ PyTorch (توازي البيانات المقسمة بالكامل)، والذي استوعب العديد من أفكار Zero، مما أدى إلى عدم وضوح الخط الفاصل بين مجموعات الأبحاث والأطر الأساسية. تهدف الأساليب المعتمدة على المترجم ومخططات التوازي التلقائي إلى إزالة الضبط اليدوي. مع نمو مجموعات التدريب نحو مئات الآلاف من المسرعات، أصبح التسامح مع الأخطاء والقياس المرن والتواصل المتداخل مع العمليات الحسابية هي الحدود الهندسية المهيمنة، إلى جانب دعم الأجهزة الجديدة مثل NVIDIA Blackwell ورقائق التدريب المخصصة.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the DeepSpeed and Megatron Training Stacks quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
ما هي مجموعات تدريب DeepSpeed وMegatron؟
تعد DeepSpeed (Microsoft) وMegatron-LM (NVIDIA) من البرامج التي تجعل نماذج التدريب التي تحتوي على مليارات المعلمات عبر آلاف وحدات معالجة الرسومات ممكنة بالفعل. وبدونها، لن تتمكن النماذج الرائدة اليوم من استيعاب الذاكرة أو إنهاء التدريب في وقت معقول.
ما هو الغرض الأساسي من مُحسِّن DeepSpeed's ZeRO؟
تعمل تقنية ZeRO (Zero Redundancy Optimizer) على التخلص من تكرار الذاكرة عن طريق تقسيم حالات المحسن والتدرجات والمعلمات عبر وحدات معالجة الرسومات بدلاً من تكرارها على كل جهاز.
كيف يعمل توازي الموتر، كما كان رائدًا في Megatron-LM، على تقسيم النموذج؟
يعمل توازي الموتر على تقسيم العمليات الحسابية داخل طبقة واحدة (مثل ضرب مصفوفة كبيرة) عبر وحدات معالجة رسوميات متعددة، وهو ما يمثل تقسيمًا داخل الطبقة.
ما هي مرحلة Zero التي توفر أكبر قدر من التوفير في الذاكرة من خلال مشاركة معلمات النموذج نفسها أيضًا؟
معلمات أجزاء Zero Stage 3 بالإضافة إلى التدرجات وحالات المُحسِّن، وجمعها حسب الطلب، مما يوفر أكبر تقليل للذاكرة.
ما الذي يتم استبداله بـ "نقطة تفتيش التنشيط" لحفظ الذاكرة أثناء التدريب؟
تعمل نقاط تفتيش التنشيط على تخزين عدد أقل من عمليات التنشيط الوسيطة وإعادة حسابها أثناء الانتشار العكسي، مما يؤدي إلى استبدال العمليات الحسابية الإضافية بذاكرة منخفضة.
لماذا يُطلق على الجمع بين هذه التقنيات غالبًا اسم "التوازي ثلاثي الأبعاد"؟
يجمع التوازي ثلاثي الأبعاد بين ثلاث إستراتيجيات متعامدة: توازي البيانات، وتوازي الموتر (داخل الطبقة)، وتوازي خطوط الأنابيب (بين الطبقات).
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع