অনুমানমূলক স্ট্রিমিং এবং মাল্টি-টোকেন পূর্বাভাস

অনুমানমূলক স্ট্রিমিং এবং মাল্টি-টোকেন ভবিষ্যদ্বাণী এক সময়ে একটি টোকেন তৈরি করার পরিবর্তে, একযোগে অনেকগুলি ভবিষ্যত টোকেন অনুমান করে এবং একটি একক পাসে সেগুলি যাচাই করে ভাষা মডেল তৈরির গতি বাড়ায়। মডেলটি যে পাঠ্যটি লিখত তা পরিবর্তন না করেই তারা লেটেন্সি কেটে দেয়।

প্রতিটি টোকেনের নিজস্ব ফরওয়ার্ড পাস প্রয়োজন এবং সেগুলি কঠোরভাবে অনুক্রমিক, তাই GPU মেমরি-ব্যান্ডউইথ আবদ্ধ এবং ডিকোডিংয়ের সময় কম ব্যবহার করা হয়।

একটি সস্তা ড্রাফটার প্রার্থী টোকেনের একটি অংশ প্রস্তাব করে যা বড় লক্ষ্য মডেলটি সমান্তরালভাবে যাচাই করে।

যাচাইকরণ (লোভী ম্যাচিং বা প্রত্যাখ্যান স্যাম্পলিং) নিশ্চিত করে যে গৃহীত টোকেনগুলি লক্ষ্য মডেলটি উত্পাদিত সঠিক বিতরণ অনুসরণ করে, তাই আউটপুট অপরিবর্তিত থাকে।

মেডুসা-শৈলীর পদ্ধতিগুলি একটি পৃথক খসড়া মডেল হোস্ট করার প্রয়োজন এড়িয়ে অতিরিক্ত ভবিষ্যদ্বাণী হেড সহ মডেলের মধ্যে খসড়া তৈরি করে।

ডিকোডিং এর সময় বটলনেক মেমরি থেকে ওজন সরে যাচ্ছে, তাই একই পাসে অতিরিক্ত পজিশন স্কোর করা সামান্য কম্পিউট খরচ যোগ করে।