কি অনুমানমূলক ডিকোডিং?

মূল্য নির্ধারণ যেখানে API কল, টোকেন, ইনফারেন্স টাইম, বা গ্রাস করা গণনা সহ খরচ স্কেল।

একটি মনোযোগের প্যাটার্ন যেখানে প্রতিটি টোকেন গণনা কমাতে কাছাকাছি টোকেনের একটি নির্দিষ্ট-আকারের উইন্ডোতে উপস্থিত থাকে।

রানটাইম ফেজ যেখানে একটি প্রশিক্ষিত মডেল ভবিষ্যদ্বাণী বা আউটপুট তৈরি করে।

একটি পদ্ধতি যা বাহ্যিক জ্ঞান পুনরুদ্ধার করে এবং অনুমান সময়ে প্রজন্মের মধ্যে এটি খাওয়ায়।

একটি ডিকোডিং কৌশল যা শুধুমাত্র k থেকে সম্ভবত পরবর্তী টোকেনগুলির নমুনা নেয়৷

একটি ছোট মডেল অনুমানে কম গণনা ব্যবহার করার সময় একটি বড় মডেলের আচরণ অনুকরণ করতে প্রশিক্ষিত।