গ্রোকিং এবং বিলম্বিত সাধারণীকরণ

It overturns the intuition that learning and generalization happen together.

2021 সালে OpenAI গবেষকরা মডুলার পাটিগণিতের মতো ছোট অ্যালগরিদমিক কাজের উপর আবিষ্কার করেছেন, গ্রোকিং একটি তীক্ষ্ণ দুই-ফেজ বক্ররেখা দেখায়। প্রথম দিকে, মডেলটি প্রশিক্ষণ সেটের সাথে পুরোপুরি ফিট করে যখন বৈধতা কর্মক্ষমতা সুযোগ থাকে, আশাহীনভাবে অতিরিক্ত ফিট দেখায়। তারপরে, হাজার হাজার বা এমনকি লক্ষ লক্ষ অতিরিক্ত পদক্ষেপের পরে কোন আপাত অগ্রগতি ছাড়াই, বৈধতা নির্ভুলতা হঠাৎ করে প্রায় নিখুঁত হয়ে যায়। নেতৃস্থানীয় ব্যাখ্যা হল যে ওজন ক্ষয় (নিয়মিতকরণ) ধীরে ধীরে নেটওয়ার্ককে চাপ দেয় একটি ভঙ্গুর মুখস্থ সমাধান পরিত্যাগ করতে এবং একটি কম্প্যাক্ট, কাঠামোবদ্ধ একটি আবিষ্কার করে যা প্রকৃতপক্ষে অন্তর্নিহিত নিয়মকে ক্যাপচার করে, উদাহরণস্বরূপ একটি বৃত্তে ঘূর্ণন হিসাবে মডুলার সংযোজন উপস্থাপন করে। ছোট সিন্থেটিক ডেটাসেটগুলিতে গ্রোকিং সবচেয়ে বেশি দৃশ্যমান, তবে এটি বোঝা কখন এবং কেন সাধারণীকরণের আবির্ভাব ঘটে তার গভীর মেকানিক্সের উপর আলোকপাত করে।