دليل الأساسيات
تطبيع المجموعة
تطبيع المجموعة هو أسلوب يعمل على استقرار تدريب الشبكة العصبية من خلال تطبيع الميزات داخل مجموعات صغيرة من القنوات، بشكل مستقل لكل مثال.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
إنه أمر مهم لأنه، على عكس تطبيع الدُفعات، يعمل بشكل جيد حتى عندما تكون الدُفعات صغيرة.
الغوص العميق
تحافظ طبقات التطبيع على تدفق الأرقام عبر شبكة جيدة الحجم، مما يؤدي إلى تسريع التدريب واستقراره. تقوم تسوية الدُفعات بذلك عن طريق حساب المتوسط والتباين لكل ميزة عبر الدفعة الصغيرة بأكملها، ولكن هذا يجعلها هشة عندما تكون الدُفعات صغيرة، حيث تصبح الإحصائيات صاخبة وغير موثوقة. تطبيع المجموعة، الذي قدمه وو وهي في عام 2018، يزيل الدفعة من المعادلة بالكامل. بالنسبة لكل مثال فردي، يقوم بتقسيم القنوات إلى عدد ثابت من المجموعات، ثم يقوم بتسوية كل مجموعة باستخدام القيم الخاصة بهذا المثال فقط. نظرًا لأن الحساب لا يعتمد أبدًا على أمثلة أخرى في المجموعة، يظل الأداء ثابتًا سواء كانت المجموعة تحتوي على 32 صورة أو صورة واحدة فقط، مما يجعلها شائعة في مهام الكشف والتجزئة والرؤية ذات الذاكرة الثقيلة.
التنفيذ في العالم الحقيقي
تم تدريب اكتشاف الكائنات وتجزئة المثيلات (على سبيل المثال، نماذج نمط Mask R-CNN) باستخدام دفعات صغيرة جدًا لكل وحدة معالجة رسومات.
العمود الفقري لـ U-Net داخل مولدات صور الانتشار، حيث تعمل مجموعة Norm على تثبيت مقاييس الميزات.
الشبكات ثلاثية الأبعاد وشبكات الفيديو حيث يؤدي استخدام الذاكرة العالية إلى خفض أحجام الدُفعات إلى واحد أو اثنين.
ضبط نماذج الرؤية الكبيرة بشكل دقيق على أجهزة محدودة حيث تجعل الدُفعات الصغيرة إحصائيات Batch Norm غير موثوقة.
مستقبل التطبيع الجماعي
يظل تطبيع المجموعة هو الاختيار الأمثل حيثما يجب أن تكون الدفعات صغيرة، مثل الاكتشاف والتجزئة عالي الدقة، والنماذج ثلاثية الأبعاد ونماذج الفيديو، والتدريب المحدود بالذاكرة. كما أنه مضمن في البنى التوليدية المستخدمة على نطاق واسع مثل شبكات U-Nets داخل نماذج الانتشار. مع نمو النماذج وضغط الذاكرة يدفع أحجام الدُفعات إلى الانخفاض، من المرجح أن تظل أدوات التسوية المستقلة عن الدُفعات، بما في ذلك Group Norm إلى جانب Layer Norm، بمثابة وحدات بناء افتراضية، مع استمرار البحث في الهجينة والبدائل الخالية من التطبيع.
وضعها موضع التنفيذ
لماذا يهم
- قرارات أوضح. يساعدك على فصل المطالبات الفنية الواضحة عن لغة التسويق.
- التكلفة والميزانية. يمكنك طرح أسئلة تنفيذ أفضل قبل إنفاق المال أو الوقت.
- الفريق وسير العمل. تتخذ الفرق ذات الفهم المشترك قرارات أفضل بشأن المنتجات والسياسات والتعلم.
احترس من
- قد تستخدم الفرق المختلفة نفس المصطلح بشكل مختلف، لذا حدد النطاق مبكرًا.
- يمكن أن تبدو المعايير قوية بينما يكون الأداء في العالم الحقيقي غير متساوٍ.
- غالبًا ما يؤدي تجاهل جودة البيانات وخطط التقييم إلى نتائج هشة.
الخطوات التالية
- ابدأ بتعريف لغة واضحة للنتيجة التي تحتاجها.
- اختر مقياس نجاح واحد وحالة فشل واحدة قبل الاختبار.
- قم بتشغيل برنامج تجريبي صغير يحتوي على بيانات تمثيلية، وليس مجموعة تجريبية مصقولة.
- قم بالتوثيق حيث يساعد تطبيع المجموعة وأين تكون الطرق الأبسط أفضل.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Group Normalization quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
ما هو التطبيع الجماعي؟
تطبيع المجموعة هو أسلوب يعمل على استقرار تدريب الشبكة العصبية من خلال تطبيع الميزات داخل مجموعات صغيرة من القنوات، بشكل مستقل لكل مثال. إنه أمر مهم لأنه، على عكس تطبيع الدُفعات، يعمل بشكل جيد حتى عندما تكون الدُفعات صغيرة.
ما هي الأبعاد التي يقوم تطبيع المجموعة بحساب الإحصائيات؟
يقول الدليل أن GN تقوم بتطبيع مجموعات القنوات في كل مثال.
لماذا يمكن تفضيل GroupNorm على BatchNorm للدفعات الصغيرة جدًا؟
تؤكد الورقة على السلوك المستقر عند أحجام الدُفعات الصغيرة لأن الحساب لا يعتمد على إحصائيات الدُفعات.
ماذا يعني استقلال GroupNorm عن حجم الدفعة؟
يستخدم حساب الورقة إحصائيات المجموعة ضمن المثال، بغض النظر عن حجم الدفعة.
ما هو إعداد GroupNorm الذي يتوافق مع مجموعة واحدة تحتوي على جميع القنوات؟
ينص الدليل على أن مجموعة واحدة تقلل النظام إلى LayerNorm.
ما هو إعداد GroupNorm الذي يتوافق مع قناة واحدة لكل مجموعة؟
يقول الدليل أن قناة واحدة لكل مجموعة تتوافق مع InstanceNorm.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع