ওজন ক্ষয় এবং L2 নিয়মিতকরণ

ওজন ক্ষয় একটি সহজ, শক্তিশালী কৌশল যা প্রশিক্ষণের সময় একটি মডেলের ওজনকে শূন্যের দিকে ঠেলে দেয়, এটিকে কোনো একক বৈশিষ্ট্যের উপর খুব বেশি নির্ভর করতে নিরুৎসাহিত করে। এটি ওভারফিটিং হ্রাস করে এবং গভীর শিক্ষার ক্ষেত্রে এটি সবচেয়ে বেশি ব্যবহৃত নিয়মিতকরণকারীদের মধ্যে একটি।

L2 নিয়মিতকরণ বর্গাকার ওজনের যোগফলের ল্যাম্বডাকে যোগ করে, বড় ওজনকে শাস্তি দেয় এবং ছোট, মসৃণ সমাধানকে উৎসাহিত করে।

ওজন ছোট রাখার মাধ্যমে, ওজনের ক্ষয় মডেলটিকে ফিটিং শব্দ থেকে নিরুৎসাহিত করে, নতুন ডেটাতে সাধারণীকরণ উন্নত করে।

ওজন ক্ষয় প্রতিটি আপডেটে ওজনকে শূন্যের দিকে সঙ্কুচিত করে, যে কারণে এটিকে কখনও কখনও ওজনের 'ক্ষয়' হিসাবে বর্ণনা করা হয়।

অ্যাডাম-এ, L2 ভাঁজ করা ক্ষতির মধ্যে প্রতি-প্যারামিটার স্কেলিং এর সাথে খারাপভাবে ইন্টারঅ্যাক্ট করে; অভিন্ন সংকোচন পুনরুদ্ধার করার জন্য AdamW আলাদাভাবে ক্ষয় প্রয়োগ করে।

প্লেইন SGD এর সাথে, ক্ষতির সাথে একটি L2 পেনাল্টি যোগ করলে সরাসরি সঙ্কুচিত ওজনের মতো একই আপডেট তৈরি হয়, তাই দুটি সমান।