تطبيع المجموعة
تطبيع المجموعة هو أسلوب يعمل على استقرار تدريب الشبكة العصبية من خلال تطبيع الميزات داخل مجموعات صغيرة من القنوات، بشكل مستقل لكل مثال.
نظرة عامة
It matters because, unlike Batch Normalization, it works well even when batches are tiny.
الغوص العميق
تحافظ طبقات التطبيع على تدفق الأرقام عبر شبكة جيدة الحجم، مما يؤدي إلى تسريع التدريب واستقراره. تقوم تسوية الدُفعات بذلك عن طريق حساب المتوسط والتباين لكل ميزة عبر الدفعة الصغيرة بأكملها، ولكن هذا يجعلها هشة عندما تكون الدُفعات صغيرة، حيث تصبح الإحصائيات صاخبة وغير موثوقة. تطبيع المجموعة، الذي قدمه وو وهي في عام 2018، يزيل الدفعة من المعادلة بالكامل. بالنسبة لكل مثال فردي، يقوم بتقسيم القنوات إلى عدد ثابت من المجموعات، ثم يقوم بتسوية كل مجموعة باستخدام القيم الخاصة بهذا المثال فقط. نظرًا لأن الحساب لا يعتمد أبدًا على أمثلة أخرى في المجموعة، يظل الأداء ثابتًا سواء كانت المجموعة تحتوي على 32 صورة أو صورة واحدة فقط، مما يجعلها شائعة في مهام الكشف والتجزئة والرؤية ذات الذاكرة الثقيلة.
البصيرة الفنية
يحسب معيار المجموعة المتوسط والتباين على الأبعاد المكانية وعلى القنوات داخل كل مجموعة، لكل عينة. ثم يتم تطبيعه إلى متوسط صفر وتباين الوحدة ويطبق المقياس المتعلم لكل قناة (جاما) والتحول (بيتا). إنه يعمم المخططات الأخرى: مع مجموعة واحدة تصبح تسوية الطبقة، ومع قناة واحدة لكل مجموعة تصبح تسوية المثيل. عدد المجموعات عبارة عن معلمة مفرطة، وغالبًا ما يتم تعيينها على 32.
التأثير الاستراتيجي
قرارات أوضح
يساعدك على فصل المطالبات الفنية الواضحة عن لغة التسويق.
التكلفة والميزانية
يمكنك طرح أسئلة تنفيذ أفضل قبل إنفاق المال أو الوقت.
الفريق وسير العمل
تتخذ الفرق ذات الفهم المشترك قرارات أفضل بشأن المنتجات والسياسات والتعلم.
مستقبل التطبيع الجماعي
يظل تطبيع المجموعة هو الاختيار الأمثل حيثما يجب أن تكون الدفعات صغيرة، مثل الاكتشاف والتجزئة عالي الدقة، والنماذج ثلاثية الأبعاد ونماذج الفيديو، والتدريب المحدود بالذاكرة. كما أنه مضمن في البنى التوليدية المستخدمة على نطاق واسع مثل شبكات U-Nets داخل نماذج الانتشار. مع نمو النماذج وضغط الذاكرة يدفع أحجام الدُفعات إلى الانخفاض، من المرجح أن تظل أدوات التسوية المستقلة عن الدُفعات، بما في ذلك Group Norm إلى جانب Layer Norm، بمثابة وحدات بناء افتراضية، مع استمرار البحث في الهجينة والبدائل الخالية من التطبيع.
التنفيذ في العالم الحقيقي
تم تدريب اكتشاف الكائنات وتجزئة المثيلات (على سبيل المثال، نماذج نمط Mask R-CNN) باستخدام دفعات صغيرة جدًا لكل وحدة معالجة رسومات.
العمود الفقري لـ U-Net داخل مولدات صور الانتشار، حيث تعمل مجموعة Norm على تثبيت مقاييس الميزات.
الشبكات ثلاثية الأبعاد وشبكات الفيديو حيث يؤدي استخدام الذاكرة العالية إلى خفض أحجام الدُفعات إلى واحد أو اثنين.
ضبط نماذج الرؤية الكبيرة بشكل دقيق على أجهزة محدودة حيث تجعل الدُفعات الصغيرة إحصائيات Batch Norm غير موثوقة.
المخاطر والدرابزين
قد تستخدم الفرق المختلفة نفس المصطلح بشكل مختلف، لذا حدد النطاق مبكرًا.
يمكن أن تبدو المعايير قوية بينما يكون الأداء في العالم الحقيقي غير متساوٍ.
غالبًا ما يؤدي تجاهل جودة البيانات وخطط التقييم إلى نتائج هشة.
خارطة طريق التنفيذ
ابدأ بتعريف لغة واضحة للنتيجة التي تحتاجها.
اختر مقياس نجاح واحد وحالة فشل واحدة قبل الاختبار.
قم بتشغيل برنامج تجريبي صغير يحتوي على بيانات تمثيلية، وليس مجموعة تجريبية مصقولة.
قم بالتوثيق حيث يساعد تطبيع المجموعة وأين تكون الطرق الأبسط أفضل.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Group Normalization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
تطبيع المكافأة المجمعة في RLHF
الأسئلة المتداولة
What is Group Normalization?
تطبيع المجموعة هو أسلوب يعمل على استقرار تدريب الشبكة العصبية من خلال تطبيع الميزات داخل مجموعات صغيرة من القنوات، بشكل مستقل لكل مثال. إنه أمر مهم لأنه، على عكس تطبيع الدُفعات، يعمل بشكل جيد حتى عندما تكون الدُفعات صغيرة.
ما هي الميزة الرئيسية لتطبيع المجموعة على تطبيع الدُفعات؟
نظرًا لأن معيار المجموعة يحسب الإحصائيات لكل مثال وليس عبر الدُفعة، فإنه لا يتحلل بواسطة دفعات صغيرة، على عكس معيار الدُفعة.
على ماذا يحسب تطبيع المجموعة متوسطه وتباينه؟
فهو يقسم القنوات إلى مجموعات ويطبيع كل مجموعة باستخدام قيم هذا المثال الفردي والمواقع المكانية فقط، متجاهلاً بقية المجموعة.
تطبيع المجموعة يصبح تطبيع الطبقة في أي حالة خاصة؟
مع مجموعة واحدة، تتم تسوية جميع القنوات معًا لكل مثال، وهو بالضبط تسوية الطبقة.
تطبيع المجموعة يصبح تطبيع المثيل في أي حالة خاصة؟
إذا كانت كل مجموعة تحتوي على قناة واحدة، فسيتم تسوية كل قناة بمفردها حسب المثال، وهو تسوية المثيل.
بعد التطبيع، ما الذي ينطبق على معيار المجموعة لاستعادة المرونة التمثيلية؟
مثل طبقات التسوية الأخرى، تتضمن Group Norm معلمات مقياس وإزاحة قابلة للتعلم حتى تتمكن الشبكة من التراجع عن التسوية أو ضبطها حسب الحاجة.