BYOL এবং অ-কনট্রাস্টিভ স্ব-তত্ত্বাবধান

It showed that self-supervised learning need not rely on pushing apart dissimilar images, sidestepping the need for huge batches of negatives.

বেশিরভাগ প্রাথমিক স্ব-তত্ত্বাবধানের পদ্ধতিগুলি ছিল বিপরীতমুখী: তারা একই চিত্রের দুটি বর্ধিত দৃষ্টিভঙ্গি একসাথে টেনে নিয়েছিল যখন বিভিন্ন চিত্রকে দূরে ঠেলে দেয়, যার জন্য পতন এড়াতে অনেক নেতিবাচক নমুনার প্রয়োজন হয় (যেখানে নেটওয়ার্ক সবকিছুর জন্য একই ভেক্টর আউটপুট করে)। BYOL, 2020 সালে DeepMind থেকে, নেতিবাচকগুলি সম্পূর্ণরূপে সরিয়ে দিয়েছে। এটি দুটি নেটওয়ার্ক ব্যবহার করে: একটি অনলাইন নেটওয়ার্ক এবং একটি লক্ষ্য নেটওয়ার্ক। একটি চিত্রের দুটি বর্ধিত দৃশ্য দুটি নেটওয়ার্কের মধ্য দিয়ে যায়; অনলাইন নেটওয়ার্ক একটি ভবিষ্যদ্বাণী প্রধান যোগ করে এবং লক্ষ্য নেটওয়ার্কের অন্যান্য দৃশ্যের প্রতিনিধিত্বের পূর্বাভাস দিতে প্রশিক্ষিত হয়। সমালোচনামূলকভাবে, লক্ষ্য নেটওয়ার্কের ওজন গ্রেডিয়েন্ট ডিসেন্ট দ্বারা প্রশিক্ষিত হয় না। পরিবর্তে তারা অনলাইন ওজনের একটি সূচকীয় চলমান গড় (EMA)। এই অসাম্যতা এবং EMA লক্ষ্যমাত্রা ইমেজনেটে ​​তুচ্ছ পতনের বিপরীত পদ্ধতির ভয়, মিল বা বিপরীত বেসলাইন মারতে বাধা দেয়।