نموذج وتوازي خطوط الأنابيب
عندما يكون النموذج كبيرًا جدًا بحيث لا يمكن احتواؤه على وحدة معالجة رسومات واحدة، فإن التوازي بين النموذج وخط الأنابيب يؤدي إلى تقسيم النموذج نفسه عبر الأجهزة.
نظرة عامة
This is what makes training giant language models with hundreds of billions of parameters physically possible.
الغوص العميق
يقوم نموذج التوازي بتقسيم نموذج واحد عبر وحدات معالجة رسومات متعددة، لذلك لا يحتاج جهاز واحد إلى الاحتفاظ بجميع الأوزان. هناك نوعان من النكهات الرئيسية. يعمل التوازي الموتر (داخل الطبقة) على تقسيم العمليات الحسابية داخل الطبقة، مثل تقطيع مضاعفة مصفوفة كبيرة عبر وحدات معالجة الرسومات التي يحسب كل منها جزءًا من المخرجات. يقوم التوازي بين الطبقات (بين الطبقات) بتعيين طبقات متتالية مختلفة لوحدات معالجة رسوميات مختلفة، بحيث تعيش كتلة الطبقة 1 على وحدة معالجة الرسومات 0، وكتلة الطبقة 2 على وحدة معالجة الرسومات 1، وما إلى ذلك، مع تمرير عمليات التنشيط للأمام مثل خط التجميع. التحدي الذي يواجه خط الأنابيب الساذج هو "الفقاعة": فبينما يعمل GPU 0 على الدفعة الأولى، تظل وحدات معالجة الرسومات النهائية في وضع الخمول. تقوم عملية خط الأنابيب بتقسيم كل دفعة إلى دفعات صغيرة بحيث تظل جميع المراحل مشغولة، مما يؤدي إلى تحسين الاستخدام بشكل كبير.
البصيرة الفنية
يعمل توازي الموتر (كما هو الحال في NVIDIA Megatron-LM) على تقسيم مصفوفات الوزن على مستوى العمود أو الصف ويستخدم التخفيض الشامل لإعادة تجميع النتائج الجزئية، مع الحفاظ على الاتصال داخل عقدة NVLink سريعة. تعمل موازاة خطوط الأنابيب (GPipe، PipeDream) على تقسيم الدفعة إلى دفعات صغيرة تتدفق عبر مراحل في جدول زمني متدرج، مما يؤدي إلى تقليص وقت "الفقاعة" الخامل. غالبًا ما يتم وضع الاثنين معًا، مع توازي الموتر داخل العقدة وتوازي خط الأنابيب عبر العقد.
التأثير الاستراتيجي
التكلفة والميزانية
تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
قرارات أوضح
يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
مراقبة الجودة
تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
مستقبل النموذج وتوازي خطوط الأنابيب
تعمل أطر العمل بشكل متزايد على أتمتة المشكلة الصعبة المتمثلة في تحديد كيفية تقسيم النموذج عبر الأجهزة، وذلك باستخدام ملفات التعريف والبحث لتحقيق التوازن بين الحوسبة والاتصالات. توقع تكاملًا أكثر إحكامًا بين الموتر وخطوط الأنابيب وتوازي البيانات (التوازي ثلاثي الأبعاد)، وجدولة دفعات صغيرة أكثر ذكاءً للقضاء على فقاعات خطوط الأنابيب تقريبًا، وأجهزة ذات توصيلات بينية أسرع بحيث يصبح تقسيم طبقة واحدة عبر الرقائق أرخص وأكثر روتينية للنماذج الأكبر حجمًا.
التنفيذ في العالم الحقيقي
تدريب نماذج نمط GPT باستخدام NVIDIA Megatron-LM، الذي يقسم انتباه كل طبقة محولات ومصفوفات التغذية الأمامية عبر وحدات معالجة الرسومات عبر توازي الموتر.
استخدام GPipe لوضع طبقات مختلفة من الرؤية العملاقة أو نموذج اللغة على مسرعات منفصلة بينما يبقيها التجميع الدقيق مشغولاً.
يقوم محرك خط أنابيب DeepSpeed بتقسيم نموذج متعدد مئات المليارات من المعلمات إلى مراحل عبر العديد من العقد.
الجمع بين توازي الموتر داخل خادم واحد مزود بـ 8 وحدات معالجة رسومات (GPU) مع توازي خطوط الأنابيب التي تمتد عبر خوادم متعددة لتدريب نموذج كبير جدًا بحيث لا يناسب جهازًا واحدًا.
المخاطر والدرابزين
يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
خارطة طريق التنفيذ
تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
المعيار في ظل ظروف التحميل والبيانات الواقعية.
مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Model and Pipeline Parallelism quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
التوازي الموتر للنماذج الكبيرة
الأسئلة المتداولة
What is Model and Pipeline Parallelism?
عندما يكون النموذج كبيرًا جدًا بحيث لا يمكن احتواؤه على وحدة معالجة رسومات واحدة، فإن التوازي بين النموذج وخط الأنابيب يؤدي إلى تقسيم النموذج نفسه عبر الأجهزة. وهذا ما يجعل تدريب النماذج اللغوية العملاقة بمئات المليارات من المعلمات ممكنًا فيزيائيًا.
ما هي المشكلة الأساسية التي يحلها توازي النموذج وخطوط الأنابيب؟
يعمل التوازي بين النموذج وخط الأنابيب على تقسيم النموذج نفسه عبر الأجهزة، مما يتيح تدريب شبكات أكبر بكثير مما يمكن أن تحتويه أي وحدة معالجة رسومات واحدة.
كيف يعمل تقسيم التوازي الموتر (داخل الطبقة)؟
يعمل توازي الموتر على تقسيم الحساب داخل طبقة واحدة، على سبيل المثال تقسيم مصفوفة وزن كبيرة بحيث تحسب كل وحدة معالجة رسومات جزءًا من المخرجات.
ما هي "الفقاعة" في التوازي الساذج لخطوط الأنابيب؟
في وقت مبكر من خطوة المسار، لا تحتوي المراحل النهائية على أي مدخلات حتى الآن وتظل في وضع الخمول، مما يؤدي إلى إهدار وقت وحدة معالجة الرسومات؛ تسمى هذه الفجوة الخاملة بالفقاعة.
كيف يقلل توازي خطوط الأنابيب من الفقاعة؟
يتيح تقسيم الدفعة إلى دفعات صغيرة أن تشغل دفعات صغيرة متعددة مراحل مختلفة في وقت واحد، مما يجعل جميع وحدات معالجة الرسومات مشغولة ويقلل وقت الخمول.
لماذا يتم الاحتفاظ بالتوازي الموتر عادة داخل عقدة واحدة؟
يتواصل توازي الموتر بشكل متكرر لإعادة تجميع نتائج المصفوفة الجزئية، بحيث يتم وضعه حيث يكون عرض النطاق الترددي للاتصال البيني هو الأعلى، داخل عقدة عبر NVLink.