التاليالدليل التالي
دفعة مقابل الاستدلال في الوقت الحقيقي
التقنية
الدليل الفني
التطبيع الدفعي
التطبيع الدفعي هو تقنية تعمل على إعادة قياس المدخلات إلى كل طبقة من الشبكة العصبية أثناء التدريب، مما يجعل الشبكات العميقة تتدرب بشكل أسرع وأكثر موثوقية.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
It became one of the most widely used tricks in deep learning.
الغوص العميق
مع تدفق البيانات عبر شبكة عميقة، يستمر توزيع القيم التي تغذي كل طبقة في التغير مع تحديث الطبقات السابقة، مما يؤدي إلى إبطاء التدريب وزعزعة استقراره. تعالج تسوية الدفعة، التي قدمها Ioffe وSzegedy في عام 2015، هذه المشكلة عن طريق تسوية مدخلات كل طبقة عبر الدفعة الصغيرة الحالية بحيث يكون متوسطها وتباين الوحدة صفرًا تقريبًا. ثم يطبق معلمتين قابلتين للتعلم، غاما وبيتا، مما يسمح بتوسيع نطاق الشبكة وإزاحة القيم الطبيعية مرة أخرى إذا كان ذلك يساعد، لذلك لا تفقد أي قوة تمثيلية. المردود كبير: فالشبكات تتحمل معدلات تعلم أعلى، وتتقارب في فترات أقل، وتكون أقل حساسية لتهيئة الوزن، وغالبًا ما تعمم بشكل أفضل قليلاً. المشكلة هي أن السلوك يعتمد على إحصائيات الدُفعات، لذا فإن الدُفعات الصغيرة جدًا يمكن أن تجعلها غير مستقرة.
التنفيذ في العالم الحقيقي
إدراج طبقات معيارية مجمعة في مصنف صور ResNet حتى تتمكن من التدرب بمعدل تعليم أعلى والتقارب في فترات أقل بكثير.
تثبيت تدريب شبكة تلافيفية عميقة للتصوير الطبي التي تباعدت سابقًا دون التطبيع.
تقليل الحساسية لتهيئة الوزن في شبكة CNN المخصصة، بحيث يقضي المهندسون وقتًا أقل في ضبط قيم البداية يدويًا.
التبديل من إحصائيات الدفعات في وضع التدريب إلى متوسطات التشغيل المخزنة عند نشر نموذج بحيث تظل تنبؤات الصورة الواحدة متسقة.
مستقبل التطبيع الدفعي
يظل تطبيع الدُفعات بمثابة العمود الفقري في نماذج الرؤية التلافيفية، لكن اعتماده على إحصائيات الدُفعات يعد أمرًا غريبًا بالنسبة للشبكات المتكررة والدُفعات الصغيرة والتدريب الموزع. وقد أدى ذلك إلى اعتماد بدائل مثل تسوية الطبقة، التي تعمل على تسوية عبر الميزات ضمن مثال واحد وتهيمن الآن على بنيات المحولات، بالإضافة إلى تسوية المجموعة والمثيل لمجالات محددة. يستمر البحث في الشبكات الخالية من التطبيع والتي تتوافق مع فوائدها من خلال التهيئة والقياس الدقيق. توقع أن يظل التطبيع ضروريًا، مع اختيار المتغير المحدد ليناسب البنية.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Batch Normalization quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
What is Batch Normalization?
التطبيع الدفعي هو تقنية تعمل على إعادة قياس المدخلات إلى كل طبقة من الشبكة العصبية أثناء التدريب، مما يجعل الشبكات العميقة تتدرب بشكل أسرع وأكثر موثوقية. أصبحت واحدة من الحيل الأكثر استخدامًا على نطاق واسع في التعلم العميق.
ما الذي يؤدي إلى تطبيع الدفعة؟
تعمل قاعدة الدُفعة على توحيد مدخلات الطبقة باستخدام المتوسط والتباين المحسوب عبر الدفعة الصغيرة الحالية، مما يحافظ على عمليات التنشيط في نطاق ثابت مع استمرار التدريب.
لماذا تتضمن تسوية الدُفعات معلمات قابلة للتعلم غاما وبيتا؟
بعد التسوية إلى المتوسط الصفري وتباين الوحدة، تسمح جاما وبيتا للشبكة بإعادة قياس القيم وإعادة تحويلها إذا كان ذلك مفيدًا، لذا فإن التسوية لا تحد مما يمكن أن تمثله الطبقة.
ما هي الفائدة العملية التي يتم الاستشهاد بها بشكل شائع لتطبيع الدُفعات؟
من خلال الحفاظ على مقياس مدخلات الطبقة بشكل جيد، تتيح قاعدة الدُفعات للشبكات التدرب بمعدلات تعلم أكبر، والتقارب بشكل أسرع، وتكون أقل حساسية للتهيئة.
في وقت الاستدلال (التنبؤ بالبيانات الجديدة)، ما هي الإحصائيات التي تستخدمها تسوية الدُفعات؟
إن استخدام إحصائيات الدُفعة المباشرة عند الاستدلال من شأنه أن يجعل التنبؤ يعتمد على الأمثلة الأخرى التي تشارك الدُفعة. بدلاً من ذلك، يستخدم معيار الدُفعة متوسطات تشغيل ثابتة مخزنة أثناء التدريب.
لماذا يمكن أن تتصرف عملية تطبيع الدُفعات بشكل سيئ مع أحجام الدُفعات الصغيرة جدًا؟
تعتمد قاعدة الدُفعة على تقدير المتوسط والتباين من الدُفعة. مع وجود أمثلة قليلة جدًا، تكون هذه التقديرات صاخبة، مما قد يؤدي إلى زعزعة استقرار التدريب.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع