লটারি টিকিট হাইপোথিসিস

লটারি টিকিট হাইপোথিসিস বলে যে একটি বড়, এলোমেলোভাবে শুরু করা নিউরাল নেটওয়ার্কের ভিতরে একটি ছোট সাবনেটওয়ার্ক লুকিয়ে রাখে - একটি 'উইনিং টিকিট' - যা একই প্রাথমিক ওজন থেকে একা প্রশিক্ষিত, সম্পূর্ণ নেটওয়ার্কের সঠিকতার সাথে মেলে। এটি গুরুত্বপূর্ণ কারণ এটি পরামর্শ দেয় যে আমরা আসলে আমাদের প্রয়োজনের চেয়ে অনেক বেশি পরামিতি প্রশিক্ষণ দিচ্ছি।

2018 সালে MIT-তে Jonathan Frankle এবং Michael Carbin দ্বারা প্রস্তাবিত, হাইপোথিসিসটি ছাঁটাই গবেষণা থেকে বেড়েছে। সাধারণত আপনি নির্ভুলতা না হারিয়ে একটি প্রশিক্ষিত নেটওয়ার্কের ওজনের 10-20% পর্যন্ত ছাঁটাই করতে পারেন, কিন্তু সেই ছোট নেটওয়ার্ককে স্ক্র্যাচ থেকে প্রশিক্ষণ দেওয়া ব্যর্থ হয়। ফ্র্যাঙ্কেল এবং কার্বিন কৌশলটি খুঁজে পেয়েছেন: বেঁচে থাকা সংযোগগুলির মূল প্রাথমিক ওজন রাখুন। সেই বিক্ষিপ্ত সাবনেটওয়ার্ক — বিজয়ী টিকিট — তারপর বিচ্ছিন্নভাবে সম্পূর্ণ নির্ভুলতার জন্য প্রশিক্ষণ দেয়, কখনও কখনও ঘন আসলটির চেয়ে দ্রুত। তারা 'পুনরাবৃত্ত মাত্রা ছাঁটাই'-এর মাধ্যমে টিকিট শনাক্ত করেছে: ট্রেন, ক্ষুদ্রতম-মাত্রার ওজন ছাঁটাই, বাকিগুলিকে তাদের প্রাথমিক মানগুলিতে রিওয়াইন্ড করুন এবং পুনরাবৃত্তি করুন। ফলাফলটি বোঝায় যে ঘন ওভারপ্যারামিটারাইজেশন প্রধানত অপ্টিমাইজেশনকে একটি ভাল স্পার্স কাঠামো খুঁজে পেতে সহায়তা করে, এমন নয় যে এই সমস্ত ওজন পৃথকভাবে প্রয়োজনীয়।