متوسط الوزن العشوائي
يأخذ متوسط الوزن العشوائي (SWA) متوسطًا بسيطًا لأوزان النموذج من عدة نقاط متأخرة في التدريب بدلاً من الاحتفاظ باللقطة النهائية فقط.
نظرة عامة
غالبا ما تضع هذه الحيلة الرخيصة النموذج في منطقة أوسع وأكثر تسطحا من مشهد الخسائر، والتي تميل إلى التعميم بشكل ملحوظ بشكل ملحوظ على البيانات غير المرئية.
الغوص العميق
تستغل تقنية SWA، التي قدمها إزميلوف وويلسون وزملاؤه في عام 2018، الملاحظة التي مفادها أن SGD ذو معدل التعلم الثابت أو الدوري لا يتقارب عند نقطة واحدة، بل يرتد حول حافة وادٍ مسطح واسع. بدلاً من اختيار إحدى نقاط التوقف الصاخبة تلك، تدير SWA معدل تعلم مرتفعًا إلى حد ما (غالبًا ما يكون ثابتًا أو دوريًا) للعهود النهائية وتحسب متوسط الأوزان التي تزورها، عادةً في كل حقبة. متوسط الأوزان يقع بالقرب من مركز المنطقة المسطحة. نظرًا لأنه يتم حساب إحصائيات تسوية الدُفعة لأوزان محددة، تتطلب SWA تمريرًا أماميًا إضافيًا واحدًا عبر البيانات لإعادة حساب وسائل تشغيل BN والتباينات للنموذج المتوسط. التكلفة مجانية بشكل أساسي، ومكاسب الدقة متسقة عبر مصنفات الصور وخارجها.
البصيرة الفنية
تحافظ SWA على متوسط تشغيل w_SWA = (n·w_SWA + w_i)/(n+1) يتم تحديثه في كل دورة، بينما يستمر نموذج SGD المباشر في الاستكشاف بمعدل تعلم كبير نسبيًا. إن متوسط مساحة الوزن يقترب من مجموعة في مساحة الوظيفة ولكنه يكلف نموذجًا واحدًا عند الاستدلال، وليس الكثير. الآلية الرئيسية هي أن الحدود الدنيا المسطحة تكون قوية في مواجهة اضطرابات الوزن، وبالتالي تظل أسطح فقدان التدريب/الاختبار متسقة، مما يقلل فجوة التعميم.
التأثير الاستراتيجي
التكلفة والميزانية
تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
قرارات أوضح
يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
مراقبة الجودة
تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
مستقبل متوسط الوزن العشوائي
وقد أنتجت SWA متغيرات مثل SWA-Gaussian (SWAG) لعدم اليقين البايزي الرخيص، وتدعم فكرة المتوسط الآن حيل المتوسط المتحرك الأسي المستخدمة على نطاق واسع في نماذج الانتشار، والتعلم الخاضع للإشراف الذاتي، والتدريب المسبق للنماذج الكبيرة. من المتوقع أن يظل متوسط الوزن هو "الغداء المجاني" الافتراضي في وصفات التدريب، مع توسيع الأبحاث ليشمل دمج النماذج المدربة بشكل مستقل (نماذج الحساء) وتحسين المعايرة إلى جانب الدقة الأولية.
التنفيذ في العالم الحقيقي
تعزيز دقة اختبار مصنفات الصور ResNet وDenseNet على CIFAR وImageNet دون أي تكلفة استدلال إضافية.
تنتج SWAG (SWA-Gaussian) تقديرات عدم يقين معايرة للتنبؤات الحساسة للسلامة من خلال دورة تدريبية واحدة.
تعمل أوزان EMA على تثبيت شبكة أخذ العينات في مولدات صور الانتشار مثل Stable Diffusion.
بناء "حساء نموذجي" عن طريق حساب متوسط نقاط التفتيش المتعددة المضبوطة لتحسين المتانة دون إعادة التدريب.
المخاطر والدرابزين
يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
خارطة طريق التنفيذ
تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
المعيار في ظل ظروف التحميل والبيانات الواقعية.
مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Stochastic Weight Averaging quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
تهيئة الوزن
الأسئلة المتداولة
ما هو متوسط الوزن العشوائي؟
يأخذ متوسط الوزن العشوائي (SWA) متوسطًا بسيطًا لأوزان النموذج من عدة نقاط متأخرة في التدريب بدلاً من الاحتفاظ باللقطة النهائية فقط. غالبًا ما تضع هذه الخدعة الرخيصة النموذج في منطقة أكثر اتساعًا واتساعًا من مشهد الخسارة، والتي تميل إلى التعميم بشكل أفضل بشكل ملحوظ على البيانات غير المرئية.
ما هو متوسط الوزن العشوائي في الواقع؟
يقوم SWA بحساب متوسط معلمات النموذج (الأوزان) التي تم جمعها عند عدة نقاط تفتيش خلال المرحلة النهائية من التدريب، وليس التنبؤات أو التدرجات.
لماذا تميل SWA إلى تحسين التعميم؟
يؤدي حساب المتوسط إلى نقل الحل نحو مركز المنطقة المسطحة من سطح الخسارة، ويتم تعميم الحدود الدنيا المسطحة بشكل أفضل لأن خسائر القطار والاختبار تظل متوازية.
ما هي الخطوة الإضافية التي تتطلبها SWA للشبكات التي تستخدم التسوية المجمعة؟
ونظرًا لأن إحصائيات BN تعتمد على أوزان محددة، فإن النموذج المتوسط يحتاج إلى تمرير إضافي واحد عبر البيانات لإعادة حساب متوسطات التشغيل والتباينات.
ما هو سلوك معدل التعلم الذي يتم استخدامه عادةً خلال مرحلة متوسط SWA؟
تحافظ SWA على معدل تعلم ثابت أو دوري مرتفع إلى حد ما، لذا تواصل SGD استكشاف المنطقة المسطحة الواسعة التي يتم بعد ذلك حساب متوسط نقاطها.
كيف يمكن مقارنة تكلفة الاستدلال لـ SWA بمجموعة تقليدية من نماذج N؟
تقوم SWA بدمج العديد من نقاط التفتيش في مجموعة واحدة متوسطة الوزن، لذا فإن تكلفة الاستدلال هي نفس تكلفة نموذج واحد بدلاً من N.