লটারি টিকিট হাইপোথিসিস
লটারি টিকিট হাইপোথিসিস বলে যে একটি বড়, এলোমেলোভাবে শুরু করা নিউরাল নেটওয়ার্কের ভিতরে একটি ছোট সাবনেটওয়ার্ক লুকিয়ে রাখে - একটি 'উইনিং টিকিট' - যা একই প্রাথমিক ওজন থেকে একা প্রশিক্ষিত, সম্পূর্ণ নেটওয়ার্কের সঠিকতার সাথে মেলে।
ওভারভিউ
It matters because it suggests we are training far more parameters than we actually need.
গভীর ডুব
2018 সালে MIT-তে Jonathan Frankle এবং Michael Carbin দ্বারা প্রস্তাবিত, হাইপোথিসিসটি ছাঁটাই গবেষণা থেকে বেড়েছে। সাধারণত আপনি নির্ভুলতা না হারিয়ে একটি প্রশিক্ষিত নেটওয়ার্কের ওজনের 10-20% পর্যন্ত ছাঁটাই করতে পারেন, কিন্তু সেই ছোট নেটওয়ার্ককে স্ক্র্যাচ থেকে প্রশিক্ষণ দেওয়া ব্যর্থ হয়। ফ্র্যাঙ্কেল এবং কার্বিন কৌশলটি খুঁজে পেয়েছেন: বেঁচে থাকা সংযোগগুলির মূল প্রাথমিক ওজন রাখুন। সেই বিক্ষিপ্ত সাবনেটওয়ার্ক — বিজয়ী টিকিট — তারপর বিচ্ছিন্নভাবে সম্পূর্ণ নির্ভুলতার জন্য প্রশিক্ষণ দেয়, কখনও কখনও ঘন আসলটির চেয়ে দ্রুত। তারা 'পুনরাবৃত্ত মাত্রা ছাঁটাই'-এর মাধ্যমে টিকিট শনাক্ত করেছে: ট্রেন, ক্ষুদ্রতম-মাত্রার ওজন ছাঁটাই, বাকিগুলিকে তাদের প্রাথমিক মানগুলিতে রিওয়াইন্ড করুন এবং পুনরাবৃত্তি করুন। ফলাফলটি বোঝায় যে ঘন ওভারপ্যারামিটারাইজেশন প্রধানত অপ্টিমাইজেশনকে একটি ভাল স্পার্স কাঠামো খুঁজে পেতে সহায়তা করে, এমন নয় যে এই সমস্ত ওজন পৃথকভাবে প্রয়োজনীয়।
প্রযুক্তিগত অন্তর্দৃষ্টি
মূল পদ্ধতি হল ওজন রিওয়াইন্ডিং সহ পুনরাবৃত্ত মাত্রা ছাঁটাই: প্রশিক্ষণের পরে, সর্বনিম্ন-মাত্রার ওজনগুলি সরিয়ে ফেলুন, অবশিষ্ট ওজনগুলিকে তাদের মূল শুরুতে পুনরায় সেট করুন (বা একটি প্রাথমিক-প্রশিক্ষণ চেকপয়েন্ট, 'রিওয়ান্ডিং' নামে একটি পরিমার্জন), তারপর পুনরায় প্রশিক্ষণ দিন। একটি নির্দিষ্ট স্পার্স মাস্ক এবং এর মিলিত প্রারম্ভের সংমিশ্রণই একটি টিকিটকে 'জয়' করে তোলে — একই মাস্ককে এলোমেলোভাবে পুনরায় চালু করা প্রভাবকে ধ্বংস করে।
কৌশলগত প্রভাব
সুস্পষ্ট সিদ্ধান্ত
এটি আপনাকে বিপণনের ভাষা থেকে স্পষ্ট প্রযুক্তিগত দাবিগুলি আলাদা করতে সহায়তা করে।
খরচ ও বাজেট
অর্থ বা সময় ব্যয় করার আগে আপনি আরও ভাল বাস্তবায়ন প্রশ্ন জিজ্ঞাসা করতে পারেন।
টিম এবং ওয়ার্কফ্লো
ভাগ করা বোঝাপড়া সহ দলগুলি আরও ভাল পণ্য, নীতি এবং শেখার সিদ্ধান্ত নেয়।
লটারি টিকিটের হাইপোথিসিসের ভবিষ্যত
লটারি টিকিট কম্পিউট এবং শক্তি সঞ্চয় করার জন্য শুরু থেকেই স্পার্স নেটওয়ার্ককে প্রশিক্ষণ দেয় এবং ডেটাসেট এবং টাস্ক জুড়ে টিকিট স্থানান্তরিত হয় কিনা তা নিয়ে গবেষণা করে। বিলিয়ন-প্যারামিটার মডেলে পুনরাবৃত্তিমূলক ছাঁটাইয়ের স্কেল করা ব্যয়বহুল থেকে যায়, তাই সস্তায় টিকিট খুঁজে বের করা বা তাদের অস্তিত্ব প্রমাণ করার জন্য কাজ চলতেই থাকে ('শক্তিশালী' লটারি টিকিটের অনুমান বলে যে টিকিটগুলি কোনো প্রশিক্ষণ ছাড়াই আরম্ভ করার সময় বিদ্যমান)। দক্ষ অন-ডিভাইস মডেল এবং সবুজ AI সহ টাই-ইন আশা করুন।
বাস্তব-বিশ্ব বাস্তবায়ন
নির্ভুলতা বজায় রেখে ফোনে স্থাপনের জন্য একটি বড় ইমেজ ক্লাসিফায়ারকে তার ওজনের 20% এর নিচে সংকুচিত করা
শুধুমাত্র একটি বিক্ষিপ্ত বিজয়ী সাবনেটওয়ার্ক সনাক্তকরণ এবং প্রশিক্ষণের মাধ্যমে প্রশিক্ষণের গতি বাড়ানো
একটি সম্পর্কিত ডেটাসেটে জাম্প-স্টার্ট প্রশিক্ষণের জন্য একটি ডেটাসেটে পাওয়া টিকিট পুনরায় ব্যবহার করে ওজন স্থানান্তরযোগ্যতা অধ্যয়ন করা
ঘন মডেলের পরিবর্তে ছাঁটাই করা বিজয়ী টিকিট পাঠানোর মাধ্যমে প্রান্ত ডিভাইসে অনুমান শক্তি এবং মেমরি হ্রাস করা
ঝুঁকি এবং প্রহরী
বিভিন্ন দল একই শব্দটি ভিন্নভাবে ব্যবহার করতে পারে, তাই সুযোগটি আগে থেকেই নির্ধারণ করুন।
বেঞ্চমার্কগুলি শক্তিশালী দেখাতে পারে যখন বাস্তব-বিশ্বের কর্মক্ষমতা অসম হয়।
ডেটা গুণমান এবং মূল্যায়ন পরিকল্পনা উপেক্ষা করা প্রায়ই ভঙ্গুর ফলাফল তৈরি করে।
বাস্তবায়ন রোডম্যাপ
আপনার প্রয়োজনীয় ফলাফলের একটি সরল-ভাষা সংজ্ঞা দিয়ে শুরু করুন।
পরীক্ষার আগে একটি সাফল্যের মেট্রিক এবং একটি ব্যর্থতার শর্ত বাছুন।
একটি পালিশ ডেমো সেট নয়, প্রতিনিধি ডেটা সহ একটি ছোট পাইলট চালান৷
নথি যেখানে লটারি টিকিট হাইপোথিসিস সাহায্য করে এবং যেখানে সহজ পদ্ধতিগুলি ভাল।
অন্বেষণ চালিয়ে যান
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Lottery Ticket Hypothesis quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
পরবর্তী গাইড
চিনচিলা কম্পিউট - সর্বোত্তম প্রশিক্ষণ
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is Lottery Ticket Hypothesis?
লটারি টিকিট হাইপোথিসিস বলে যে একটি বড়, এলোমেলোভাবে শুরু করা নিউরাল নেটওয়ার্কের ভিতরে একটি ছোট সাবনেটওয়ার্ক লুকিয়ে রাখে - একটি 'উইনিং টিকিট' - যা একই প্রাথমিক ওজন থেকে একা প্রশিক্ষিত, সম্পূর্ণ নেটওয়ার্কের সঠিকতার সাথে মেলে। এটি গুরুত্বপূর্ণ কারণ এটি পরামর্শ দেয় যে আমরা আসলে আমাদের প্রয়োজনের চেয়ে অনেক বেশি পরামিতি প্রশিক্ষণ দিচ্ছি।
এই হাইপোথিসিসে 'উইনিং টিকেট' কি?
একটি বিজয়ী টিকিট হল একটি ছোট সাবনেটওয়ার্ক যা, একই প্রাথমিক ওজন থেকে বিচ্ছিন্নভাবে প্রশিক্ষিত হলে, ঘন নেটওয়ার্কের সাথে তুলনীয় নির্ভুলতায় পৌঁছায়।
কেন ছাঁটাই করা সাবনেটওয়ার্কের প্রশিক্ষণ সাধারণত ব্যর্থ হয় যদি না আপনি বিশেষ কিছু করেন?
মূল অন্তর্দৃষ্টি হল যে স্পার্স মাস্ক শুধুমাত্র তখনই কাজ করে যখন মিলিত মূল প্রারম্ভিকতার সাথে যুক্ত হয়; এলোমেলো পুনঃসূচনা এটি ভেঙে দেয়।
লটারি টিকিট হাইপোথিসিস কে প্রস্তাব করেছিলেন?
জোনাথন ফ্র্যাঙ্কেল এবং মাইকেল কারবিন তাদের 2018 এমআইটি গবেষণাপত্রে হাইপোথিসিসটি চালু করেছিলেন।
বিজয়ী টিকিট খুঁজে পেতে কোন কৌশল ব্যবহার করা হয়?
পুনরাবৃত্তিমূলক মাত্রা ছাঁটাই বারবার প্রশিক্ষণ দেয়, ক্ষুদ্রতম-মাত্রার ওজনগুলি সরিয়ে দেয় এবং বাকিগুলিকে তাদের প্রাথমিক মানগুলিতে ফিরিয়ে দেয়।
হাইপোথিসিস বৃহৎ ওভারপ্যারামিটারাইজড নেটওয়ার্ক সম্পর্কে কী পরামর্শ দেয়?
অনুসন্ধানটি বোঝায় ওভারপ্যারামিটারাইজেশন প্রতিটি ওজনের প্রয়োজনীয়তার পরিবর্তে একটি প্রশিক্ষণযোগ্য স্পার্স সাবনেটওয়ার্কের অনুসন্ধানে সহায়তা করে।