পরবর্তী-টোকেন পূর্বাভাস

বিলিয়ন বার বার বার করা হয়েছে, এই একক কাজ এমন মডেল তৈরি করে যা লেখে, যুক্তি দেয় এবং কথোপকথন করে।

নেক্সট-টোকেন ভবিষ্যদ্বাণী একটি মডেলকে প্রশিক্ষিত করে যাতে পূর্ববর্তী সমস্ত টোকেন দেওয়া পরবর্তী টোকেনে সম্ভাব্যতা নির্ধারণ করা হয়। বাইট-পেয়ার এনকোডিংয়ের মতো টোকেনাইজার দ্বারা টেক্সটকে প্রথমে টোকেনে (সাবওয়ার্ড টুকরা) ভাগ করা হয়। একটি ডিকোডার-অনলি ট্রান্সফরমার বাম থেকে ডানে ক্রমটি পড়ে এবং পরবর্তী অবস্থানের জন্য সমগ্র শব্দভান্ডারে একটি সম্ভাব্যতা বন্টন করে। প্রশিক্ষণের সময়, মডেলটিকে বিশাল টেক্সট কর্পোরা দেখানো হয় এবং যখনই এটি প্রকৃত পরবর্তী টোকেনের জন্য কম সম্ভাব্যতা নির্ধারণ করে তখনই জরিমানা করা হয়। প্রজন্মের সময়ে, মডেল নমুনা বা লোভের সাথে একটি টোকেন বাছাই করে, এটি যুক্ত করে এবং এই লুপটিকে স্বতঃপ্রগতিশীলভাবে পুনরাবৃত্তি করে। এই একটি উদ্দেশ্য উল্লেখযোগ্যভাবে স্কেল করে: GPT-2, GPT-3 এবং উত্তরসূরিরা সকলেই পরবর্তী টোকেনের ভবিষ্যদ্বাণীতে খুব ভালভাবে ব্যাকরণ, তথ্য, অনুবাদ এবং যুক্তি শিখেছে।