الدليل الفني
التوازي الموتر للنماذج الكبيرة
طريقة لتقسيم العمليات الحسابية داخل طبقة شبكة عصبية واحدة عبر وحدات معالجة رسوميات متعددة، بحيث يظل من الممكن تشغيل نموذج أكبر من اللازم لجهاز واحد.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
هذا مهم لأن النماذج الحدودية تحتوي على مئات المليارات من المعلمات التي لا يمكن لأي وحدة معالجة رسومات واحدة الاحتفاظ بها أو حسابها بسرعة كافية بمفردها.
الغوص العميق
يعمل توازي الموتر (يسمى أيضًا توازي نموذج الطبقة الداخلية) على تقسيم مصفوفات الوزن الفردية عبر وحدات معالجة الرسومات بدلاً من وضع طبقات كاملة على أجهزة منفصلة. في المحول، يتم تقسيم مضاعفات المصفوفة الكبيرة - إسقاطات الانتباه ومصفوفة التغذية الأمامية MLP: على سبيل المثال، يتم تقسيم مصفوفة الوزن الأولى لـ MLP بواسطة أعمدة والثانية بواسطة صفوف، بحيث تحسب كل وحدة معالجة رسومات شريحة ويجمع كل تقليل واحد النتائج. يتم تقسيم الاهتمام عبر الرؤوس، حيث تتعامل كل وحدة معالجة رسومات (GPU) مع مجموعة فرعية. نظرًا لأن كل وحدة معالجة رسومات (GPU) تقوم بجزء من كل طبقة في وقت واحد، فإن توازي الموتر يقلل من الذاكرة لكل وحدة معالجة رسومات (GPU) ويسرع عملية الحوسبة، ولكنه يتطلب اتصالاً متكررًا وعالي النطاق بين وحدات معالجة الرسومات في كل طبقة. ولهذا السبب عادةً ما يكون محصوراً داخل عقدة متصلة بواسطة NVLink، ويتم دمجه مع خطوط الأنابيب وتوازي البيانات من أجل مهام تدريب وخدمة كبيرة جدًا.
التنفيذ في العالم الحقيقي
تدريب نموذج ذو معلمة 175B عن طريق تقسيم مصفوفات وزن كل طبقة عبر 8 وحدات معالجة رسومات في عقدة واحدة متصلة بـ NVLink باستخدام Megatron-LM.
تقديم نموذج دردشة ذو 70B معلمة في vLLM باستخدام Tensor_parallel_size=4 بحيث تتناسب الأوزان عبر أربع وحدات معالجة رسوميات وتستجيب في الوقت الفعلي.
يتجه تقسيم انتباه المحولات عبر وحدات معالجة الرسومات بحيث يحسب كل جهاز مجموعة فرعية، ثم يقوم بتسلسل المخرجات للطبقة التالية.
الجمع بين توازي الموتر داخل العقد وتوازي خطوط الأنابيب عبر العقد لتدريب نماذج تريليون معلمة على مجموعات GPU الكبيرة.
مستقبل التوازي الموتر للنماذج الكبيرة
يظل توازي الموتر أساسيًا ولكن يتم مزجه بشكل متزايد في "التوازي ثلاثي الأبعاد" (الموتر + خط الأنابيب + البيانات) ويتم دمجه مع التوازي الخبير لنماذج خليط الخبراء. تعمل أطر العمل مثل Megatron-LM وDeepSpeed وvLLM على أتمتة عملية التجزئة. نظرًا لأن ترابط وحدة معالجة الرسومات (NVLink وNVSwitch) والأنسجة الضوئية تصبح أسرع، فإن حد حدود العقدة يرتاح، مما يسمح بمجموعات موسعة متوازية أوسع. توقع توازيًا تلقائيًا أكثر ذكاءً يختار أبعاد الجزء وأحجام المجموعة لتقليل الاتصال لطوبولوجيا مجموعة معينة.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Tensor Parallelism for Large Models quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
ما هو التوازي الموتر للنماذج الكبيرة؟
طريقة لتقسيم العمليات الحسابية داخل طبقة شبكة عصبية واحدة عبر وحدات معالجة رسوميات متعددة، بحيث يظل من الممكن تشغيل نموذج أكبر من اللازم لجهاز واحد. هذا مهم لأن النماذج الحدودية تحتوي على مئات المليارات من المعلمات التي لا يمكن لأي وحدة معالجة رسومات واحدة الاحتفاظ بها أو حسابها بسرعة كافية بمفردها.
ما الذي ينقسمه توازي الموتر عبر وحدات معالجة الرسومات؟
يعمل توازي Tensor (داخل الطبقة) على تقسيم مصفوفات الوزن داخل الطبقة، لذلك تحسب كل وحدة معالجة رسومات جزءًا من نفس الطبقة، وهو ما يختلف عن توازي خط الأنابيب، الذي يضع طبقات كاملة على وحدات معالجة رسومات مختلفة.
في تقسيم MLP بأسلوب ميجاترون، كيف يتم تقسيم مصفوفتي الوزن لتقليل الاتصال؟
يتيح تقسيم المصفوفة الأولى على الأعمدة لكل وحدة معالجة رسومات تطبيق اللاخطية محليًا؛ تقسيم الثاني على الصفوف يعني أن كل التخفيض واحد يجمع المخرجات الجزئية - مما يقلل من التزامن.
لماذا يتم عادةً الاحتفاظ بالتوازي الموتر داخل عقدة واحدة؟
تعمل كل طبقة على تشغيل اتصال جماعي (الكل يقلل)، وبالتالي فإن حركة المرور الكثيفة والحساسة لزمن الوصول تتطلب روابط سريعة داخل العقد مثل NVLink بدلاً من الشبكات الأبطأ بين العقد.
كيف يتم موازنة آلية الانتباه عادةً في ظل توازي الموتر؟
رؤوس الانتباه مستقلة، لذا يتم توزيعها عبر وحدات معالجة الرسومات — يحسب كل جهاز بعض الرؤوس ويتم دمج المخرجات.
ما هي العملية الجماعية التي تجمع عادة النتائج الجزئية في التوازي الموتر؟
يقوم All-reduce بجمع المخرجات الجزئية المحسوبة على كل وحدة معالجة رسومات بحيث تتفق على نتيجة الطبقة؛ يحدث هذا عدة مرات لكل طبقة في التمريرات الأمامية والخلفية.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع