লগিট লেন্স এবং টিউনড লেন্স

লজিট লেন্স এবং টিউনড লেন্স হল ব্যাখ্যাযোগ্যতা কৌশল যা একটি ট্রান্সফরমারের লুকানো অবস্থার স্তরে স্তরে স্তরে উঁকি দেয় যাতে এটি একটি চূড়ান্ত উত্তর তৈরি করার আগে মডেলটি কী 'চিন্তা' করছে তা দেখতে। তারা প্রকাশ করে কিভাবে একটি ভবিষ্যদ্বাণী ধীরে ধীরে গঠন করে যখন তথ্য নেটওয়ার্কের মাধ্যমে প্রবাহিত হয়।

লজিট লেন্স প্রতিটি গভীরতায় মডেলের পূর্বাভাসিত টোকেনগুলি দেখতে বিদ্যমান আনবেডিংয়ের মাধ্যমে অন্তর্বর্তী অবশিষ্ট-প্রবাহের অবস্থাকে প্রজেক্ট করে।

টিউন করা লেন্স একটি প্রতি-স্তর রৈখিক অনুবাদক শেখে, পক্ষপাতগুলি সংশোধন করে এবং কাঁচা লগিট লেন্সের চেয়ে আরও বিশ্বস্ত, কম-বিভ্রান্তির রিডআউট দেয়।

প্রতিটি স্তর একটি ভাগ করা অবশিষ্ট প্রবাহে সংযোজন আপডেট লেখে, তাই সেই স্ট্রীমটিকে প্রথম দিকে প্রজেক্ট করা একটি মধ্যবর্তী ভবিষ্যদ্বাণীকে আনুমানিক করে।

GPT-2 এর মধ্যবর্তী ভবিষ্যদ্বাণী বিশ্লেষণ করে একটি 2020 ব্লগ পোস্টে নস্টালজেব্রেস্ট দ্বারা লজিট লেন্সটি চালু করা হয়েছিল।

রিডআউটগুলি সাধারণত গণনা জমা হওয়ার সাথে সাথে মধ্য থেকে দেরী স্তর জুড়ে সঠিক টোকেন লাভের সম্ভাবনা দেখায়।