التوازي الموتر للنماذج الكبيرة
طريقة لتقسيم العمليات الحسابية داخل طبقة شبكة عصبية واحدة عبر وحدات معالجة رسوميات متعددة، بحيث يظل من الممكن تشغيل نموذج أكبر من اللازم لجهاز واحد.
نظرة عامة
It matters because frontier models have hundreds of billions of parameters that no single GPU can hold or compute fast enough alone.
الغوص العميق
يعمل توازي الموتر (يسمى أيضًا توازي نموذج الطبقة الداخلية) على تقسيم مصفوفات الوزن الفردية عبر وحدات معالجة الرسومات بدلاً من وضع طبقات كاملة على أجهزة منفصلة. في المحول، يتم تقسيم مضاعفات المصفوفة الكبيرة - إسقاطات الانتباه ومصفوفة التغذية الأمامية MLP: على سبيل المثال، يتم تقسيم مصفوفة الوزن الأولى لـ MLP بواسطة أعمدة والثانية بواسطة صفوف، بحيث تحسب كل وحدة معالجة رسومات شريحة ويجمع كل تقليل واحد النتائج. يتم تقسيم الاهتمام عبر الرؤوس، حيث تتعامل كل وحدة معالجة رسومات (GPU) مع مجموعة فرعية. نظرًا لأن كل وحدة معالجة رسومات (GPU) تقوم بجزء من كل طبقة في وقت واحد، فإن توازي الموتر يقلل من الذاكرة لكل وحدة معالجة رسومات (GPU) ويسرع عملية الحوسبة، ولكنه يتطلب اتصالاً متكررًا وعالي النطاق بين وحدات معالجة الرسومات في كل طبقة. ولهذا السبب عادةً ما يكون محصوراً داخل عقدة متصلة بواسطة NVLink، ويتم دمجه مع خطوط الأنابيب وتوازي البيانات من أجل مهام تدريب وخدمة كبيرة جدًا.
البصيرة الفنية
الحيلة، التي شاعتها شركة Megatron-LM، هي اختيار أبعاد القسم بحيث يكون الاتصال في حده الأدنى. يتيح تقسيم عمود مصفوفة MLP الأولى لكل وحدة معالجة رسومات تطبيق اللاخطية محليًا دون أي مزامنة؛ يعني تقسيم الصف الثاني أن المخرجات تحتاج فقط إلى تقليل كلي واحد لجمع النتائج الجزئية. وبالتالي فإن كل طبقة تتحمل ما يقرب من اثنين من التخفيضات الشاملة (للأمام) واثنين (للخلف). ونظرًا لأن هذه التجمعات تحدث في كل طبقة، فإن زمن الوصول هو المهيمن، لذا فإن توازي الموتر يعيش خلف روابط سريعة داخل العقد مثل NVLink بدلاً من شبكات أبطأ بين العقد.
التأثير الاستراتيجي
التكلفة والميزانية
تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
قرارات أوضح
يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
مراقبة الجودة
تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
مستقبل التوازي الموتر للنماذج الكبيرة
يظل توازي الموتر أساسيًا ولكن يتم مزجه بشكل متزايد في "التوازي ثلاثي الأبعاد" (الموتر + خط الأنابيب + البيانات) ويتم دمجه مع التوازي الخبير لنماذج خليط الخبراء. تعمل أطر العمل مثل Megatron-LM وDeepSpeed وvLLM على أتمتة عملية التجزئة. نظرًا لأن ترابط وحدة معالجة الرسومات (NVLink وNVSwitch) والأنسجة الضوئية تصبح أسرع، فإن حد حدود العقدة يرتاح، مما يسمح بمجموعات موسعة متوازية أوسع. توقع توازيًا تلقائيًا أكثر ذكاءً يختار أبعاد الجزء وأحجام المجموعة لتقليل الاتصال لطوبولوجيا مجموعة معينة.
التنفيذ في العالم الحقيقي
تدريب نموذج ذو معلمة 175B عن طريق تقسيم مصفوفات وزن كل طبقة عبر 8 وحدات معالجة رسومات في عقدة واحدة متصلة بـ NVLink باستخدام Megatron-LM.
تقديم نموذج دردشة ذو 70B معلمة في vLLM باستخدام Tensor_parallel_size=4 بحيث تتناسب الأوزان عبر أربع وحدات معالجة رسوميات وتستجيب في الوقت الفعلي.
يتجه تقسيم انتباه المحولات عبر وحدات معالجة الرسومات بحيث يحسب كل جهاز مجموعة فرعية، ثم يقوم بتسلسل المخرجات للطبقة التالية.
الجمع بين توازي الموتر داخل العقد وتوازي خطوط الأنابيب عبر العقد لتدريب نماذج تريليون معلمة على مجموعات GPU الكبيرة.
المخاطر والدرابزين
يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
خارطة طريق التنفيذ
تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
المعيار في ظل ظروف التحميل والبيانات الواقعية.
مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Tensor Parallelism for Large Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
نموذج وتوازي خطوط الأنابيب
الأسئلة المتداولة
What is Tensor Parallelism for Large Models?
طريقة لتقسيم العمليات الحسابية داخل طبقة شبكة عصبية واحدة عبر وحدات معالجة رسوميات متعددة، بحيث يظل من الممكن تشغيل نموذج أكبر من اللازم لجهاز واحد. هذا مهم لأن النماذج الحدودية تحتوي على مئات المليارات من المعلمات التي لا يمكن لأي وحدة معالجة رسومات واحدة الاحتفاظ بها أو حسابها بسرعة كافية بمفردها.
ما الذي ينقسمه توازي الموتر عبر وحدات معالجة الرسومات؟
يعمل توازي Tensor (داخل الطبقة) على تقسيم مصفوفات الوزن داخل الطبقة، لذلك تحسب كل وحدة معالجة رسومات جزءًا من نفس الطبقة، وهو ما يختلف عن توازي خط الأنابيب، الذي يضع طبقات كاملة على وحدات معالجة رسومات مختلفة.
في تقسيم MLP بأسلوب ميجاترون، كيف يتم تقسيم مصفوفتي الوزن لتقليل الاتصال؟
يتيح تقسيم المصفوفة الأولى على الأعمدة لكل وحدة معالجة رسومات تطبيق اللاخطية محليًا؛ تقسيم الثاني على الصفوف يعني أن كل التخفيض واحد يجمع المخرجات الجزئية - مما يقلل من التزامن.
لماذا يتم عادةً الاحتفاظ بالتوازي الموتر داخل عقدة واحدة؟
تعمل كل طبقة على تشغيل اتصال جماعي (الكل يقلل)، وبالتالي فإن حركة المرور الكثيفة والحساسة لزمن الوصول تتطلب روابط سريعة داخل العقد مثل NVLink بدلاً من الشبكات الأبطأ بين العقد.
كيف يتم موازنة آلية الانتباه عادةً في ظل توازي الموتر؟
رؤوس الانتباه مستقلة، لذا يتم توزيعها عبر وحدات معالجة الرسومات — يحسب كل جهاز بعض الرؤوس ويتم دمج المخرجات.
ما هي العملية الجماعية التي تجمع عادة النتائج الجزئية في التوازي الموتر؟
يقوم All-reduce بجمع المخرجات الجزئية المحسوبة على كل وحدة معالجة رسومات بحيث تتفق على نتيجة الطبقة؛ يحدث هذا عدة مرات لكل طبقة في التمريرات الأمامية والخلفية.