الدليل الفني
متوسط الوزن العشوائي
يأخذ متوسط الوزن العشوائي (SWA) متوسطًا بسيطًا لأوزان النموذج من عدة نقاط متأخرة في التدريب بدلاً من الاحتفاظ باللقطة النهائية فقط.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
غالبا ما تضع هذه الحيلة الرخيصة النموذج في منطقة أوسع وأكثر تسطحا من مشهد الخسائر، والتي تميل إلى التعميم بشكل ملحوظ بشكل ملحوظ على البيانات غير المرئية.
الغوص العميق
تستغل تقنية SWA، التي قدمها إزميلوف وويلسون وزملاؤه في عام 2018، الملاحظة التي مفادها أن SGD ذو معدل التعلم الثابت أو الدوري لا يتقارب عند نقطة واحدة، بل يرتد حول حافة وادٍ مسطح واسع. بدلاً من اختيار إحدى نقاط التوقف الصاخبة تلك، تدير SWA معدل تعلم مرتفعًا إلى حد ما (غالبًا ما يكون ثابتًا أو دوريًا) للعهود النهائية وتحسب متوسط الأوزان التي تزورها، عادةً في كل حقبة. متوسط الأوزان يقع بالقرب من مركز المنطقة المسطحة. نظرًا لأنه يتم حساب إحصائيات تسوية الدُفعة لأوزان محددة، تتطلب SWA تمريرًا أماميًا إضافيًا واحدًا عبر البيانات لإعادة حساب وسائل تشغيل BN والتباينات للنموذج المتوسط. التكلفة مجانية بشكل أساسي، ومكاسب الدقة متسقة عبر مصنفات الصور وخارجها.
التنفيذ في العالم الحقيقي
تعزيز دقة اختبار مصنفات الصور ResNet وDenseNet على CIFAR وImageNet دون أي تكلفة استدلال إضافية.
تنتج SWAG (SWA-Gaussian) تقديرات عدم يقين معايرة للتنبؤات الحساسة للسلامة من خلال دورة تدريبية واحدة.
تعمل أوزان EMA على تثبيت شبكة أخذ العينات في مولدات صور الانتشار مثل Stable Diffusion.
بناء "حساء نموذجي" عن طريق حساب متوسط نقاط التفتيش المتعددة المضبوطة لتحسين المتانة دون إعادة التدريب.
مستقبل متوسط الوزن العشوائي
وقد أنتجت SWA متغيرات مثل SWA-Gaussian (SWAG) لعدم اليقين البايزي الرخيص، وتدعم فكرة المتوسط الآن حيل المتوسط المتحرك الأسي المستخدمة على نطاق واسع في نماذج الانتشار، والتعلم الخاضع للإشراف الذاتي، والتدريب المسبق للنماذج الكبيرة. من المتوقع أن يظل متوسط الوزن هو "الغداء المجاني" الافتراضي في وصفات التدريب، مع توسيع الأبحاث ليشمل دمج النماذج المدربة بشكل مستقل (نماذج الحساء) وتحسين المعايرة إلى جانب الدقة الأولية.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Stochastic Weight Averaging quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
ما هو متوسط الوزن العشوائي؟
يأخذ متوسط الوزن العشوائي (SWA) متوسطًا بسيطًا لأوزان النموذج من عدة نقاط متأخرة في التدريب بدلاً من الاحتفاظ باللقطة النهائية فقط. غالبًا ما تضع هذه الخدعة الرخيصة النموذج في منطقة أكثر اتساعًا واتساعًا من مشهد الخسارة، والتي تميل إلى التعميم بشكل أفضل بشكل ملحوظ على البيانات غير المرئية.
ما هو متوسط الوزن العشوائي في الواقع؟
يقوم SWA بحساب متوسط معلمات النموذج (الأوزان) التي تم جمعها عند عدة نقاط تفتيش خلال المرحلة النهائية من التدريب، وليس التنبؤات أو التدرجات.
لماذا تميل SWA إلى تحسين التعميم؟
يؤدي حساب المتوسط إلى نقل الحل نحو مركز المنطقة المسطحة من سطح الخسارة، ويتم تعميم الحدود الدنيا المسطحة بشكل أفضل لأن خسائر القطار والاختبار تظل متوازية.
ما هي الخطوة الإضافية التي تتطلبها SWA للشبكات التي تستخدم التسوية المجمعة؟
ونظرًا لأن إحصائيات BN تعتمد على أوزان محددة، فإن النموذج المتوسط يحتاج إلى تمرير إضافي واحد عبر البيانات لإعادة حساب متوسطات التشغيل والتباينات.
ما هو سلوك معدل التعلم الذي يتم استخدامه عادةً خلال مرحلة متوسط SWA؟
تحافظ SWA على معدل تعلم ثابت أو دوري مرتفع إلى حد ما، لذا تواصل SGD استكشاف المنطقة المسطحة الواسعة التي يتم بعد ذلك حساب متوسط نقاطها.
كيف يمكن مقارنة تكلفة الاستدلال لـ SWA بمجموعة تقليدية من نماذج N؟
تقوم SWA بدمج العديد من نقاط التفتيش في مجموعة واحدة متوسطة الوزن، لذا فإن تكلفة الاستدلال هي نفس تكلفة نموذج واحد بدلاً من N.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع