অনুমানমূলক ডিকোডিং কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. কিভাবে অনুমানমূলক ডিকোডিং একটি বড় মডেল থেকে প্রজন্মের গতি বাড়ায়?
   • একটি ছোট খসড়া মডেল বেশ কয়েকটি টোকেন অনুমান করে যা বড় মডেল সমান্তরালভাবে যাচাই করে
   • মডেলটিকে স্থায়ীভাবে অর্ধেক আকারে সংকুচিত করা হচ্ছে
   • মনোযোগ প্রক্রিয়া অপসারণ
   • মডেলটিকে আরও ডেটার উপর প্রশিক্ষণ দেওয়া
2. For a large model at low batch size, why can one-token autoregressive decoding be slow?
   • Each token requires internet access
   • Repeated reads of large model weights can make decoding memory-bandwidth bound
   • The model permanently stores a full copy of every possible output
   • The tokenizer performs the model’s matrix multiplications
3. In greedy speculative decoding, what happens at the first token where draft and target predictions disagree?
   • The whole conversation is thrown away and restarted from scratch
   • খসড়া মডেল অবিলম্বে পুনরায় প্রশিক্ষণ দেওয়া হয়
   • The matching prefix is kept, the target token is used at the mismatch, and later draft tokens are discarded
   • আউটপুট গুণমান স্থায়ীভাবে হ্রাস পায়
4. Under exact speculative sampling, how does the output distribution compare with sampling from the target model alone?
   • It is always lower quality but faster
   • It is identical only when the draft model is larger
   • It becomes deterministic regardless of target sampling
   • It is identical in distribution
5. অনুমানমূলক ডিকোডিং থেকে কোনটি সরাসরি গতি নির্ধারণ করে?
   • খসড়া মডেলের অনুমান গ্রহণের হার
   • GPU এর রঙ
   • মডেলের নামের দৈর্ঘ্য
   • দিনের সময়
6. মেডুসা এবং ঈগলের পন্থা হিসাবে কী মিল রয়েছে?
   • তাদের কোয়ান্টাম হার্ডওয়্যার প্রয়োজন
   • তারা একটি পৃথক স্বতন্ত্র খসড়া মডেলের প্রয়োজনীয়তা দূর করে
   • তারা লক্ষ্য মডেল মুছে ফেলুন
   • তারা শুধুমাত্র ইমেজ কাজ
7. What should a serving team measure before claiming speculative decoding will speed up its workload?
   • Only the target model’s parameter count
   • Only whether the draft produces fluent text
   • Draft cost, target verification cost, accepted tokens and end-to-end latency under representative traffic
   • The number of tokenizer files
8. In exact speculative sampling, what happens when a proposed token is rejected?
   • The whole conversation is discarded
   • The target model is permanently changed
   • The rejected token is kept without verification
   • A correction step samples from the distribution needed to preserve the target model’s output distribution