সিকোয়েন্স মডেলে শিক্ষক জোর করে

শিক্ষক জোর করা হল সিকোয়েন্স মডেলের জন্য একটি প্রশিক্ষণ কৌশল যেখানে প্রকৃত পূর্ববর্তী টোকেন, মডেলের নিজস্ব অনুমান নয়, পরবর্তী ইনপুট হিসাবে খাওয়ানো হয়। এটি প্রশিক্ষণকে দ্রুত এবং স্থিতিশীল করে তোলে।

শিক্ষক জোর করে কন্ডিশনিং উপসর্গ সঠিক রেখে মডেলের ভবিষ্যদ্বাণীর পরিবর্তে প্রকৃত পূর্ববর্তী লক্ষ্য টোকেন ফিড করে।

যেহেতু মডেল সবসময় সঠিক উপসর্গের উপর শর্ত রাখে, গ্রেডিয়েন্ট শক্তিশালী হয় এবং প্রশিক্ষণ দ্রুত এবং আরো স্থিরভাবে একত্রিত হয়।

একটি কার্যকারণ মুখোশ প্রতিটি অবস্থানকে ভবিষ্যতের টোকেনগুলিতে উপস্থিত হতে বাধা দেয়, তাই পুরো ক্রমটি প্রতারণা ছাড়াই একবারে প্রক্রিয়া করা যেতে পারে।

বাস্তব প্রজন্মের সময় কোন লক্ষ্য ক্রম বিদ্যমান নেই, তাই মডেলটিকে অবশ্যই তার নিজস্ব ভবিষ্যদ্বাণীগুলিকে ফিড করতে হবে, প্রশিক্ষণের সময় ভিন্ন।

অটোরিগ্রেসিভ মডেলগুলিকে টোকেন-স্তরের ক্রস-এনট্রপি দিয়ে প্রশিক্ষিত করা হয় যাতে পূর্বাভাসিত বিতরণের সাথে সোনার পরবর্তী টোকেনের তুলনা করা হয়।