কি টপ-কে স্যাম্পলিং?

একটি ডিকোডিং কৌশল যা ক্ষুদ্রতম টোকেন সেট থেকে স্যাম্পল করে যার সম্ভাব্যতার যোগফল p।

একটি প্রজন্মের কৌশল যা বৈধ কাঠামো বা নীতি-সম্মত পছন্দগুলিতে আউটপুট টোকেনকে সীমাবদ্ধ করে।

শুধুমাত্র অল্প সংখ্যক উদাহরণ থেকে আচরণ শেখা বা মানিয়ে নেওয়া।

একটি ভাষা-মডেল মেট্রিক পরিমাপ করে যে মডেলটি সত্যিকারের পরবর্তী টোকেনগুলির দ্বারা কতটা অবাক হয়েছে৷

একটি অনুমান ত্বরণ পদ্ধতি যেখানে একটি ছোট খসড়া মডেল টোকেন প্রস্তাব করে যা একটি বড় মডেল সমান্তরালভাবে যাচাই করে।

পূর্ববর্তী টোকেনগুলি থেকে সংরক্ষিত কী এবং মান টেনসর যা ট্রান্সফরমারগুলিকে অতীতের মনোযোগ পুনরায় গণনা না করেই নতুন টোকেন তৈরি করতে দেয়৷