التنظيم

يمكن للنموذج المرن أن يناسب الأنماط الخاصة بالتدريب والتي لا تساعد في التعامل مع البيانات غير المرئية. يغير التنظيم عملية الملاءمة لتثبيط بعض هذا السلوك. يضيف أحد الأساليب عقوبة بناءً على أوزان النموذج إلى خسارة التنبؤ. تستخدم عقوبة L2 مجموع الأوزان المربعة وتشجع على الانكماش. تستخدم عقوبة L1 القيم المطلقة، وبطرق مثل Lasso، يمكن أن تنتج معاملات صفرية بالضبط. هذه العقوبات هي تعريفات رياضية، لذا يمكن حساب قيمها لمتجه وزن معين. بالنسبة للأوزان ناقص اثنين وواحد، تكون عقوبة L1 غير المقيدة ثلاثة، في حين أن عقوبة مجموع المربعات L2 هي خمسة. يمكن كتابة الهدف الإجمالي كخطأ في التنبؤ بالإضافة إلى ضرب لامدا بالعقوبة. تحدد لامدا مدى تأثير تلك العقوبة؛ ولا يمحو مصطلح خطأ التنبؤ. يتبع التسرب نهجًا مختلفًا عن طريق تصفير التنشيطات بشكل عشوائي أثناء التدريب بدلاً من حذف الخلايا العصبية بشكل دائم. التوقف المبكر يحد من التدريب بناءً على معيار مراقب، وغالبًا ما يكون أداء التحقق من الصحة. يمكن أن تساعد زيادة البيانات أيضًا في تقييد الأنماط التي يتعلمها النموذج من خلال توفير الاختلافات ذات الصلة. لا تضمن أي من هذه الطرق أداءً أفضل في كل مهمة. الكثير من التنظيم يمكن أن يمنع النموذج من تركيب بنية مفيدة. قارن سلوك التدريب والتحقق، واختر الإعدادات التي تحتوي على بيانات التحقق المناسبة، واحتفظ بمجموعة اختبار منفصلة للتقييم النهائي عندما يكون ذلك ممكنًا. لا ينبغي أيضًا التعامل مع عقوبات L2 على أنها متطابقة عالميًا مع تسوس الوزن المحسن: تشرح ورقة Decoupled Weight Decay الاختلافات المهمة بين أدوات التحسين التكيفية.