InfoNCE এবং SimCLR উদ্দেশ্য

InfoNCE (পারস্পরিক তথ্যের জন্য নয়েজ-কন্ট্রাস্টিভ এস্টিমেশন) একটি এনকোডারকে প্রশিক্ষণ দেয় যাতে একটি কোয়েরি এবং এর সত্যিকারের ইতিবাচক ক্যোয়ারী এবং অনেক নেতিবাচকের চেয়ে বেশি মিল থাকে। এটি মূলত একটি সফটম্যাক্স ক্রস-এনট্রপি এবং সাদৃশ্য স্কোর: একটি অ্যাঙ্করের জন্য, নেতিবাচকের বিরুদ্ধে ইতিবাচকের জয় হওয়া উচিত। SimCLR (2020) ইমেজগুলির জন্য এটি চালু করেছে: একটি ইমেজ নিন, একটি ইতিবাচক জুটি তৈরি করতে দুটি র্যান্ডম অগমেন্টেশন প্রয়োগ করুন, একটি শেয়ার্ড এনকোডার এবং একটি প্রজেকশন হেডের মাধ্যমে উভয়ই চালান এবং স্বাভাবিক তাপমাত্রা-স্কেলড ক্রস-এনট্রপি (NT-Xent, একটি InfoNCE ভেরিয়েন্ট) ব্যবহার করুন যাতে দুটি বর্ধিত ভিউ অন্যান্য সমস্ত ছবিকে নেতিবাচক হিসাবে আকৃষ্ট করে। SimCLR দেখিয়েছে যে শক্তিশালী ডেটা অগমেন্টেশন, একটি ননলাইনার প্রজেকশন হেড, বড় ব্যাচের মাপ, এবং একটি টিউন করা তাপমাত্রা একত্রে স্ব-তত্ত্বাবধানে মডেলগুলিকে ইমেজনেটের তত্ত্বাবধানে থাকা মডেলগুলির সাথে মেলে — প্রাক-প্রশিক্ষণের সময় কোনো লেবেল ছাড়াই।