الدليل الفني
بيانات مجزأة بالكامل بالتوازي
تعد تقنية Fully Sharded Data Parallel (FSDP) بمثابة تقنية تدريب موزعة تعمل على تقسيم معلمات النموذج والتدرجات وحالات المُحسّن عبر العديد من وحدات معالجة الرسومات بحيث يحمل كل جهاز شريحة فقط.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
It makes training huge models possible on hardware that could never fit the whole model in one GPU's memory.
الغوص العميق
يحتفظ توازي البيانات التقليدي بنسخة كاملة من النموذج على كل وحدة معالجة رسومات، مما يهدر الذاكرة ويحد من حجم النموذج. FSDP، المشهور بواسطة Meta's PyTorch والمستوحى من Microsoft's ZeRO، بدلاً من ذلك يقسم ثلاثة أشياء عبر الأجهزة: المعلمات، والتدرجات، وحالات المُحسِّن. أثناء التمرير الأمامي، تقوم كل وحدة معالجة رسومات (GPU) بتجميع الأوزان الكاملة للطبقة التي تحسبها مؤقتًا عبر تجميع كامل، وتشغيل الحساب، ثم تحرير النسخة المجمعة على الفور. يعمل التمرير للخلف بشكل مشابه، متبوعًا بتقليل التشتت الذي يوزع شرائح التدرج مرة أخرى على وحدات معالجة الرسومات الخاصة بها. نظرًا لأن كل جهاز يخزن بشكل دائم جزءًا من النموذج فقط، فإن استخدام الذاكرة ينخفض بشكل خطي تقريبًا مع عدد وحدات معالجة الرسومات، مما يسمح للفرق بتدريب النماذج باستخدام عشرات أو مئات المليارات من المعلمات.
التنفيذ في العالم الحقيقي
الضبط الدقيق لنموذج لاما ذو 70 مليار معلمة عبر 8 وحدات معالجة رسوميات لا يمكنها بشكل فردي حمل الأوزان الكاملة.
التدريب المسبق لنماذج اللغات الكبيرة في مختبرات الذكاء الاصطناعي من خلال مشاركة حالات المُحسِّن (التي تهيمن على الذاكرة مع آدم) عبر مئات المسرعات.
يستخدم الباحثون غلاف FSDP الخاص بـ PyTorch لتدريب محولات الرؤية على مجموعة جامعية دون شراء وحدات معالجة الرسومات الرائدة بسعة 80 جيجابايت.
الجمع بين FSDP وbfloat16 ذو الدقة المختلطة لخفض الذاكرة إلى النصف تقريبًا وتسريع إنتاجية التدريب على النماذج متعددة الوسائط.
مستقبل البيانات المتوازية بالكامل
أصبح FSDP هو الإعداد الافتراضي للتدريب المفتوح على النماذج الكبيرة، حيث يعمل FSDP2 في PyTorch على تحسين سهولة الاستخدام والتقسيم لكل معلمة. توقع تكاملًا أكثر إحكامًا مع توازي الموتر وخطوط الأنابيب لنماذج تريليون معلمة، ودعم أفضل للدقة المختلطة وfp8، والالتفاف التلقائي الأكثر ذكاءً الذي يختار حدود التجزئة لك. مع زيادة سرعة التوصيلات البينية بين وحدات معالجة الرسومات مثل NVLink وInfiniBand، تستمر تكلفة الاتصال الخاصة بالتقسيم في التقلص، مما يجعلها عملية على نطاقات أكبر من أي وقت مضى.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Fully Sharded Data Parallel quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
What is Fully Sharded Data Parallel?
تعد تقنية Fully Sharded Data Parallel (FSDP) بمثابة تقنية تدريب موزعة تعمل على تقسيم معلمات النموذج والتدرجات وحالات المُحسّن عبر العديد من وحدات معالجة الرسومات بحيث يحمل كل جهاز شريحة فقط. فهو يجعل تدريب النماذج الضخمة أمرًا ممكنًا على الأجهزة التي لا يمكنها أبدًا احتواء النموذج بأكمله في ذاكرة GPU واحدة.
ما الذي يقسمه FSDP عبر وحدات معالجة الرسومات ولا يفعله التوازي القياسي للبيانات؟
يقوم FSDP بتقسيم معلمات النموذج والتدرجات وحالات المُحسِّن عبر الأجهزة، بينما يقوم توازي البيانات القياسية بتكرار النموذج الكامل على كل وحدة معالجة رسومات.
ما هي العملية الجماعية التي يستخدمها FSDP لإعادة بناء الأوزان الكاملة للطبقة قبل حسابها مباشرة؟
قبل تشغيل الطبقة، يقوم FSDP بإجراء تجميع كامل لتجميع المعلمات الكاملة مؤقتًا من جميع الأجزاء، ثم يحررها بعد ذلك.
لماذا يقوم FSDP بتحرير الأوزان الكاملة المجمعة فورًا بعد حساب الطبقة؟
إن الاحتفاظ بالجزء فقط بشكل دائم وجمع الأوزان الكاملة بشكل عابر هو ما يبقي استخدام الذاكرة منخفضًا ومتناسبًا تقريبًا مع جزء واحد من النموذج.
ما هو النهج السابق لتحسين الذاكرة الذي تم استلهامه إلى حد كبير من FSDP؟
يتبع تقسيم المعلمات والتدرجات وحالات المُحسِّن في FSDP بشكل وثيق الأفكار المقدمة في Microsoft's ZeRO من مكتبة DeepSpeed.
كيف يخفي FSDP جزءًا كبيرًا من زمن وصول الشبكة من جمع الأوزان؟
يقوم FSDP بإحضار معلمات الطبقة التالية مسبقًا بينما لا تزال الطبقة الحالية قيد الحوسبة، مما يؤدي إلى تداخل الاتصالات المجمعة مع العمل المفيد.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع