অনুমানমূলক স্ট্রিমিং এবং মাল্টি-টোকেন ভবিষ্যদ্বাণী কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. কেন স্ট্যান্ডার্ড অটোরিগ্রেসিভ ডিকোডিং একটি জিপিইউতে প্রায়ই ধীর হয়?
   • টোকেনগুলি একবারে উত্পাদিত হয়, প্রতি ধাপে GPU কম ব্যবহার করা হয়
   • GPU এর সাথে সাথে মেমরি ফুরিয়ে যায়
   • এটি প্রতিটি টোকেনে পুনরায় প্রশিক্ষণ দিতে হবে
   • শব্দভান্ডার খুবই ছোট
2. অনুমানমূলক ডিকোডিংয়ে 'ড্রাফটার' কী করে?
   • এটি একাই চূড়ান্ত উত্তর লেখে
   • এটি অনেক প্রার্থীর ভবিষ্যত টোকেন সস্তায় প্রস্তাব করে
   • এটি কম-সম্ভাব্য টোকেন মুছে দেয়
   • এটি মডেলের ওজনকে সংকুচিত করে
3. অনুমানমূলক ডিকোডিংয়ে আউটপুট গুণমান কীভাবে সংরক্ষিত হয়?
   • সম্ভাব্যতাকে শূন্যে পূর্ণ করে
   • একটি বড় শব্দভান্ডার ব্যবহার করে
   • যাচাইকরণের মাধ্যমে যা লক্ষ্য বন্টনের সাথে মেলে শুধুমাত্র টোকেন গ্রহণ করে
   • যাচাইকরণ সম্পূর্ণভাবে বাদ দিয়ে
4. মেডুসা-স্টাইলের মাল্টি-টোকেন ভবিষ্যদ্বাণীকে কি ক্লাসিক অনুমানমূলক ডিকোডিং থেকে আলাদা করে?
   • এটি দুটি পৃথক বড় মডেল প্রয়োজন
   • এটি শুধুমাত্র ইমেজ জেনারেশনের জন্য কাজ করে
   • এটি যেকোনো ফরোয়ার্ড পাসের প্রয়োজনীয়তা দূর করে
   • এটি অতিরিক্ত লাইটওয়েট ভবিষ্যদ্বাণী প্রধান যোগ করে তাই একটি মডেল খসড়া এবং যাচাই করে
5. কেন একটি ট্রান্সফরমার ডিকোডিংয়ের সময় অনেক প্রার্থীর অবস্থান প্রায় একের মতো সস্তায় যাচাই করতে পারে?
   • কারণ ডিকোডিং মেমরি-ব্যান্ডউইথ বাউন্ড, কম্পিউট বাউন্ড নয়
   • কারণ এটি পুরো ইন্টারনেট ক্যাশ করে
   • কারণ যাচাইকরণ মনোযোগের স্তরগুলিকে এড়িয়ে যায়
   • কারণ GPU ঘড়ির গতি দ্বিগুণ হয়ে যায়
6. কি প্রাথমিকভাবে অনুমানমূলক বা বহু-টোকেন পদ্ধতি থেকে গতি নির্ধারণ করে?
   • GPU এর রঙ
   • প্রতি ধাপে গৃহীত টোকেনের গড় সংখ্যা
   • মডেলের নামের দৈর্ঘ্য
   • ডিস্কের আকার
7. A draft proposes tokens A, B and C, but target verification first disagrees at B. Which proposal prefix can be accepted?
   • A, B and C
   • B and C only
   • A, the matching prefix before the first mismatch
   • None, even if A matches
8. Why can speculative decoding preserve the target model’s output distribution?
   • The drafter is guaranteed to be identical to the target
   • The target model is never run
   • All proposed tokens are accepted unconditionally
   • A verification and correction rule accepts or rejects draft tokens according to the target distribution