الدليل الفني
تفريغ حالة المُحسِّن إلى وحدة المعالجة المركزية (CPU) وNVMe
خدعة موفرة للذاكرة تعمل على مسك الدفاتر الثقيلة للتدريب (حالات المُحسِّن، والتدرجات، وأحيانًا الأوزان) في ذاكرة الوصول العشوائي لوحدة المعالجة المركزية (CPU) أو على محركات أقراص NVMe SSD بدلاً من ذاكرة GPU النادرة.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
It lets people train far larger models than their GPU's memory would otherwise allow.
الغوص العميق
عندما تقوم بتدريب شبكة عصبية باستخدام مُحسِّن مثل آدم، فإن كل معلمة تحمل أمتعة إضافية: إحصائيات تشغيل (الزخم والتباين)، بالإضافة إلى نسخة كاملة الدقة من الوزن، بالإضافة إلى تدرجه. في التدريب المختلط الدقة، يمكن أن يصل إجمالي هذا إلى 16 بايت تقريبًا لكل معلمة، مما يؤدي إلى تقزيم 2 بايت للوزن نفسه. يؤدي التفريغ إلى نقل تلك الأمتعة من وحدة معالجة الرسومات. يعمل إلغاء تحميل وحدة المعالجة المركزية على تدفق حالات المُحسِّن إلى ذاكرة الوصول العشوائي (RAM) العادية للنظام عبر ناقل PCIe، بينما يدفعها إلغاء تحميل NVMe إلى أقراص الحالة الصلبة السريعة. هذه التقنية، التي اشتهرت بواسطة ZeRO-Infinity وZeRO-Offload من DeepSpeed، تستبدل السرعة الأولية بالسعة، مما يسمح لوحدة معالجة رسومات واحدة أو مجموعة صغيرة بضبط النماذج باستخدام مليارات المعلمات.
التنفيذ في العالم الحقيقي
DeepSpeed’s ZeRO-Offload tutorial trains a ten-billion-parameter GPT-2 configuration on a 32 GB V100, with CPU optimizer offloading and activation checkpointing.
A research team evaluates ZeRO-Infinity with CPU and NVMe tiers for a model that exceeds GPU-only capacity.
A fine-tuning team configures CPU optimizer offloading and measures host memory use and update time.
A team compares larger GPUs with offloading, accounting for CPU, storage, and transfer costs.
مستقبل تفريغ حالة المُحسِّن إلى وحدة المعالجة المركزية (CPU) وNVMe
مع استمرار نمو النماذج في ذاكرة وحدة معالجة الرسومات (GPU)، أصبح التفريغ المتدرج قياسيًا وليس غريبًا. توقع تكاملًا أكثر إحكامًا مع اتصالات بينية أسرع مثل مجمعات الذاكرة NVLink-C2C وCXL التي تطمس حدود وحدة المعالجة المركزية (CPU) ووحدة معالجة الرسومات (GPU)، بالإضافة إلى برامج جدولة أكثر ذكاءً تتنبأ بالحالات التي سيتم جلبها مسبقًا. تقلل بنيات الذاكرة الموحدة مثل Grace Hopper من عقوبة PCIe، وتدفع أطر العمل نحو جعل عملية التفريغ متعددة الطبقات شفافة تقريبًا حتى يتمكن الهواة من ضبط النماذج الكبيرة على أجهزة متواضعة.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Optimizer State Offloading to CPU and NVMe quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
What is Optimizer State Offloading to CPU and NVMe?
خدعة موفرة للذاكرة تعمل على مسك الدفاتر الثقيلة للتدريب (حالات المُحسِّن، والتدرجات، وأحيانًا الأوزان) في ذاكرة الوصول العشوائي لوحدة المعالجة المركزية (CPU) أو على محركات أقراص NVMe SSD بدلاً من ذاكرة GPU النادرة. فهو يتيح للأشخاص تدريب نماذج أكبر بكثير مما تسمح به ذاكرة وحدة معالجة الرسومات الخاصة بهم.
ما هو الهدف الأساسي من تفريغ حالات المُحسِّن إلى وحدة المعالجة المركزية (CPU) أو NVMe؟
يؤدي إلغاء التحميل إلى نقل حالات المُحسِّن الثقيلة من وحدة معالجة الرسومات إلى ذاكرة الوصول العشوائي لوحدة المعالجة المركزية (CPU) أو NVMe، مما يؤدي إلى تحرير ذاكرة وحدة معالجة الرسومات بحيث يمكن تدريب النماذج الأكبر حجمًا على نفس الجهاز.
For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?
Each FP32 value uses four bytes: two moments plus one master weight total twelve. A sixteen-byte mixed-precision estimate includes other tensors as well.
ما هو إطار العمل الذي يتميز بتفريغ المُحسِّن واسع النطاق؟
قدمت كل من ZeRO-Offload وZeRO-Infinity من DeepSpeed حالات محسّنة لتفريغ التحميل إلى وحدة المعالجة المركزية وNVMe على نطاق واسع.
ما هي تكلفة الأداء الرئيسية لتفريغ وحدة المعالجة المركزية أو NVMe؟
يعني نقل الحالات خارج وحدة معالجة الرسومات نقل البيانات عبر PCIe أو إلى NVMe، وهو أبطأ من الذاكرة الموجودة على وحدة معالجة الرسومات، لذلك ينخفض معدل النقل ما لم يتداخل مع الحوسبة.
كيف تخفي أنظمة التفريغ الكثير من زمن انتقال النقل؟
يقوم المجدولون بإحضار الأقسام المطلوبة مسبقًا عبر PCIe بينما لا تزال وحدة معالجة الرسومات تقوم بالحوسبة، مما يؤدي إلى تداخل الاتصال مع الحساب لإخفاء زمن الاستجابة.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع