ক্রমাগত ব্যাচিং কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. এলএলএম পরিবেশনের জন্য স্ট্যাটিক (স্থির) ব্যাচিংয়ের প্রধান দুর্বলতা কী?
   • এটি শুধুমাত্র CPU-তে চলতে পারে
   • এটির জন্য প্রথমে সমস্ত ডেটা লেবেল করা প্রয়োজন
   • সংক্ষিপ্ত অনুরোধগুলি তাড়াতাড়ি শেষ হয়ে যায় কিন্তু ব্যাচটি দীর্ঘতম সময়ের জন্য অপেক্ষা করার সময় তাদের স্লটগুলি নিষ্ক্রিয় থাকে৷
   • এটি মডেলটিকে কম নির্ভুল করে তোলে
2. ক্রমাগত ব্যাচিং কোন গ্রানুলিটিতে অনুরোধ যোগ এবং অপসারণ করে?
   • প্রতিদিন একবার
   • প্রতি ডিকোডিং ধাপ (এক সময়ে একটি টোকেন)
   • শুধুমাত্র সম্পূর্ণ অনুরোধ প্রতি
   • প্রশিক্ষণ যুগ প্রতি
3. A continuous-batching request finishes and frees capacity. What can the scheduler do next?
   • Restart every remaining request from its first token
   • Guarantee every queued request runs immediately
   • Discard the finished answer without returning it
   • Admit eligible queued work if its resource budgets allow
4. কোন কৌশলটি স্বাভাবিকভাবে ক্রমাগত ব্যাচিংয়ের সাথে যোগ করে যাতে সিকোয়েন্সগুলি সন্নিবেশ করা/অপসারণ করা সস্তা হয়?
   • PagedAttention এর ব্লক-ভিত্তিক কেভি ক্যাশে
   • FP32 ডবল নির্ভুলতা
   • ডিস্ক অদলবদল
   • ম্যানুয়াল ডেটা লেবেলিং
5. পুনরাবৃত্তি-স্তরের (নিরবিচ্ছিন্ন) ব্যাচিং জনপ্রিয় করার জন্য কোন গবেষণাপত্রকে সাধারণত কৃতিত্ব দেওয়া হয়?
   • আসল ট্রান্সফরমার কাগজ
   • অরকা কাগজ
   • একটি 1980 এর ডাটাবেস পেপার
   • ইমেজনেট কাগজ
6. What utilization problem can continuous batching reduce compared with a fixed request batch?
   • Every model accuracy error
   • The need to store any KV cache
   • All queueing at any traffic rate
   • Waiting for the longest request before admitting new eligible work
7. A continuous-batching server has reached its memory budget. Must a newly arrived request enter the next iteration?
   • No; admission can wait until suitable capacity is available
   • Yes; the name guarantees unlimited request admission
   • Yes; the server removes all active outputs automatically
   • Only if the request has no punctuation
8. A long prompt’s prefill delays tokens for already decoding requests. Which serving objective exposes that tradeoff?
   • Measure only the weight-file name
   • Assume more admitted prompts always improve every latency
   • Measure time between decode tokens alongside throughput
   • Count only the number of model layers