مسلسل بیچنگ کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. ایل ایل ایم سرونگ کے لیے جامد (فکسڈ) بیچنگ کی بنیادی کمزوری کیا ہے؟
   • یہ صرف CPUs پر چل سکتا ہے۔
   • اس کے لیے پہلے تمام ڈیٹا کو لیبل لگانے کی ضرورت ہے۔
   • مختصر درخواستیں جلد ختم ہو جاتی ہیں لیکن ان کے سلاٹ بیکار رہتے ہیں جب کہ بیچ طویل ترین درخواست کا انتظار کرتا ہے۔
   • یہ ماڈل کو کم درست بناتا ہے۔
2. مسلسل بیچنگ درخواستوں کو کس گرانولیریٹی میں شامل اور ہٹاتی ہے؟
   • دن میں ایک بار
   • فی ضابطہ کشائی مرحلہ (ایک وقت میں ایک ٹوکن)
   • صرف مکمل درخواست کے مطابق
   • فی تربیتی دور
3. A continuous-batching request finishes and frees capacity. What can the scheduler do next?
   • Restart every remaining request from its first token
   • Guarantee every queued request runs immediately
   • Discard the finished answer without returning it
   • Admit eligible queued work if its resource budgets allow
4. کون سی تکنیک قدرتی طور پر لگاتار بیچنگ کے ساتھ جوڑتی ہے تاکہ ترتیب کو داخل کرنا/ہٹانا سستا ہو؟
   • PagedAttention کا بلاک پر مبنی KV کیشے
   • FP32 ڈبل صحت سے متعلق
   • ڈسک کی تبدیلی
   • دستی ڈیٹا لیبلنگ
5. کس تحقیقی مقالے کو عام طور پر تکرار کی سطح (مسلسل) بیچنگ کو مقبول بنانے کا سہرا دیا جاتا ہے؟
   • اصل ٹرانسفارمر کاغذ
   • اورکا پیپر
   • 1980 کا ڈیٹا بیس پیپر
   • امیج نیٹ پیپر
6. What utilization problem can continuous batching reduce compared with a fixed request batch?
   • Every model accuracy error
   • The need to store any KV cache
   • All queueing at any traffic rate
   • Waiting for the longest request before admitting new eligible work
7. A continuous-batching server has reached its memory budget. Must a newly arrived request enter the next iteration?
   • No; admission can wait until suitable capacity is available
   • Yes; the name guarantees unlimited request admission
   • Yes; the server removes all active outputs automatically
   • Only if the request has no punctuation
8. A long prompt’s prefill delays tokens for already decoding requests. Which serving objective exposes that tradeoff?
   • Measure only the weight-file name
   • Assume more admitted prompts always improve every latency
   • Measure time between decode tokens alongside throughput
   • Count only the number of model layers