ایل ایل ایم انفرنس روٹنگ اور لوڈ بیلنسنگ کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. سادہ راؤنڈ رابن ایل ایل ایم کے تخمینہ کے لیے اکثر لوڈ بیلنسنگ کی ایک ناقص حکمت عملی کیوں ہے؟
   • درخواستیں لاگت میں بہت زیادہ مختلف ہوتی ہیں اور نقلیں چپچپا KV کیچ رکھتی ہیں۔
   • یہ زیادہ تر ممالک میں غیر قانونی ہے۔
   • راؤنڈ رابن صرف ڈیٹا بیس کے لیے کام کرتا ہے۔
   • اسے چلانے کے لیے ایک GPU کی ضرورت ہے۔
2. 'prefix-cache affinity' روٹنگ کیا حاصل کرنے کی کوشش کر رہی ہے؟
   • ہر درخواست کو بے ترتیب GPU کو بھیجنا
   • ریپلیکا کی درخواست کو روٹ کرنا جس نے پہلے ہی اس کے پرامپٹ سابقہ کو محفوظ کر لیا ہے۔
   • بھیجنے سے پہلے پرامپٹ کو خفیہ کرنا
   • ماڈل کے وزن کو کمپریس کرنا
3. مشکل پر مبنی ماڈل روٹنگ میں، عام طور پر ایک آسان سوال کا کیا ہوتا ہے؟
   • اسے مسترد کر دیا جاتا ہے۔
   • یہ دستیاب سب سے بڑے ماڈل کو بھیجا جاتا ہے۔
   • اسے ایک چھوٹے، سستے ماڈل پر بھیجا جاتا ہے۔
   • 24 گھنٹے قطار میں لگی رہتی ہے۔
4. ایل ایل ایم سے آگاہ لوڈ بیلنسر کے لیے کون سا لائیو سگنل سب سے زیادہ مفید ہے؟
   • سرور کے میزبان نام کی لمبائی
   • ریک کا رنگ
   • صرف صارف کا ٹائم زون
   • قطار کی گہرائی اور ہر ایک نقل کی KV-کیشے کی موجودگی
5. LiteLLM جیسا ٹول ملٹی پرووائیڈر سیٹ اپ میں کیا فراہم کرتا ہے؟
   • ایک واحد پراکسی جو متعدد ماڈل فراہم کنندگان میں توازن رکھتی ہے اور ناکام ہوجاتی ہے۔
   • ایک نیا ٹرانسفارمر فن تعمیر
   • ایک GPU کولنگ سسٹم
   • ٹوکنائزر کا متبادل
6. ایک طویل پیداوار کی درخواست بیلنسنگ کے لیے بہت سے شارٹ سے زیادہ کیوں ہو سکتی ہے؟
   • طویل آؤٹ پٹ کوئی وسائل استعمال نہیں کرتے ہیں۔
   • ہر آؤٹ پٹ ٹوکن کی لاگت ایک مکمل فارورڈ پاس ہے، لہذا کل ٹوکن لوڈ درخواست کی گنتی سے زیادہ اہمیت رکھتا ہے۔
   • مختصر درخواستیں ہمیشہ سست ہوتی ہیں۔
   • روٹر آؤٹ پٹ کی لمبائی بالکل نہیں دیکھ سکتا
7. A serving system reports goodput rather than raw request count. What does goodput usually emphasize?
   • ماڈل پیرامیٹرز کی کل تعداد
   • Only the number of HTTP connections opened
   • Requests served while meeting the specified latency or service-level targets
   • The fraction of requests that use the largest model
8. A gateway first chooses a small or large model, then chooses a replica of that model. What are these two decisions?
   • Tokenization followed by decoding
   • Training followed by fine-tuning
   • Prefill followed by prompt construction
   • Model routing followed by replica load balancing