دليل الأساسيات
تسوس الوزن وتنظيم L2
يعد تناقص الوزن أسلوبًا بسيطًا وقويًا يدفع أوزان النموذج نحو الصفر أثناء التدريب، مما يثنيه عن الاعتماد بشكل كبير على أي ميزة واحدة.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
إنه يقلل من التجهيز الزائد وهو أحد أكثر أدوات التنظيم استخدامًا على نطاق واسع في التعلم العميق.
الغوص العميق
عندما يتدرب النموذج، يمكنه الإمساك بالضجيج الموجود في البيانات من خلال زيادة الأوزان الكبيرة والمضبوطة بدقة والتي تناسب مجموعة التدريب بشكل مثالي ولكن تعميمها بشكل سيء. يحارب تنظيم L2 هذا عن طريق إضافة عقوبة تتناسب مع مجموع الأوزان المربعة لوظيفة الخسارة. أصبح للمُحسِّن الآن هدفان: ملاءمة البيانات والحفاظ على الأوزان الصغيرة، بحيث يستقر على حلول أكثر سلاسة وقوة. إن تسوس الوزن هو فكرة وثيقة الصلة بتقليص كل وزن بجزء صغير في كل خطوة تحديث. مع الانحدار التدرجي البسيط، يكون الاثنان متكافئين رياضيًا، ولكن مع أدوات التحسين التكيفية مثل Adam فإنهما يختلفان، ولهذا السبب تم تقديم AdamW لفصل الاضمحلال عن التحديث القائم على التدرج وجعله يتصرف بشكل صحيح.
التنفيذ في العالم الحقيقي
إضافة Weight_decay في مُحسِّن AdamW أو SGD الخاص بـ PyTorch عند تدريب مصنفات الصور للحد من التجهيز الزائد
ضبط معامل لامدا في انحدار التلال، النموذج الخطي الكلاسيكي الذي يعاقب عليه L2، لتحقيق الاستقرار في التنبؤات بشأن الميزات المرتبطة
وصفات التدريب المسبق لنموذج اللغة الكبيرة التي تحدد انخفاضًا طفيفًا في الوزن (غالبًا حوالي 0.1) جنبًا إلى جنب مع جدول معدل التعلم
الجمع بين تناقص الوزن وزيادة البيانات والتسرب لمنع نموذج التصوير الطبي الصغير من حفظ عمليات المسح التدريبية المحدودة
مستقبل تسوس الوزن وتنظيم L2
يظل تناقص الوزن عنصرًا افتراضيًا في وصفات التدريب لنماذج اللغة الكبيرة ومحولات الرؤية، وأصبح AdamW الآن المُحسِّن القياسي لها. يستمر البحث في كيفية تفاعل الاضمحلال مع جداول معدل التعلم، وطبقات التطبيع، ومقياس النموذج، حيث تتغير قوتها الفعالة مع نمو النماذج. توقع المزيد من ضبط الاضمحلال المبدئي، ربما لكل طبقة أو جدول زمني، مع نضوج البحث الآلي للمعلمات الفائقة ودراسات قانون القياس.
وضعها موضع التنفيذ
لماذا يهم
- قرارات أوضح. يساعدك على فصل المطالبات الفنية الواضحة عن لغة التسويق.
- التكلفة والميزانية. يمكنك طرح أسئلة تنفيذ أفضل قبل إنفاق المال أو الوقت.
- الفريق وسير العمل. تتخذ الفرق ذات الفهم المشترك قرارات أفضل بشأن المنتجات والسياسات والتعلم.
احترس من
- قد تستخدم الفرق المختلفة نفس المصطلح بشكل مختلف، لذا حدد النطاق مبكرًا.
- يمكن أن تبدو المعايير قوية بينما يكون الأداء في العالم الحقيقي غير متساوٍ.
- غالبًا ما يؤدي تجاهل جودة البيانات وخطط التقييم إلى نتائج هشة.
الخطوات التالية
- ابدأ بتعريف لغة واضحة للنتيجة التي تحتاجها.
- اختر مقياس نجاح واحد وحالة فشل واحدة قبل الاختبار.
- قم بتشغيل برنامج تجريبي صغير يحتوي على بيانات تمثيلية، وليس مجموعة تجريبية مصقولة.
- قم بالتوثيق حيث يساعد تسوس الوزن وتنظيم L2 وأين تكون الطرق الأبسط أفضل.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Weight Decay and L2 Regularization quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
ما هو تسوس الوزن وتنظيم L2؟
يعد تناقص الوزن أسلوبًا بسيطًا وقويًا يدفع أوزان النموذج نحو الصفر أثناء التدريب، مما يثنيه عن الاعتماد بشكل كبير على أي ميزة واحدة. إنه يقلل من التجهيز الزائد وهو أحد أكثر أدوات التنظيم استخدامًا على نطاق واسع في التعلم العميق.
ما الذي يضيفه تنظيم L2 إلى وظيفة الخسارة؟
يضيف تنظيم L2 أضعاف لامدا لمجموع الأوزان المربعة، مما يعاقب الأوزان الكبيرة ويشجع الحلول الأصغر حجمًا والأكثر سلاسة.
ما هي المشكلة الرئيسية التي يساعد تسوس الوزن على الوقاية منها؟
من خلال الحفاظ على الأوزان صغيرة، يؤدي تسوس الوزن إلى تثبيط النموذج عن تركيب الضوضاء، مما يحسن التعميم على البيانات الجديدة.
في أي اتجاه يدفع اضمحلال الوزن أوزان النموذج؟
يؤدي تسوس الوزن إلى تقليص الأوزان نحو الصفر في كل تحديث، ولهذا السبب يوصف أحيانًا بأنه "تسوس" الأوزان.
لماذا تم تقديم AdamW؟
في Adam، يتفاعل طي L2 في الخسارة بشكل سيئ مع القياس لكل معلمة؛ يقوم AdamW بتطبيق الاضمحلال بشكل منفصل لاستعادة الانكماش الموحد المقصود.
بالنسبة لنزول التدرج العشوائي البسيط، كيف يرتبط تنظيم L2 بانخفاض الوزن؟
مع SGD العادي، تؤدي إضافة عقوبة L2 إلى الخسارة إلى نفس التحديث الذي يؤدي إلى تقليص الأوزان بشكل مباشر، وبالتالي فإن الاثنين متساويان.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع