الگ الگ پری فل اور ڈی کوڈ سرونگ کوئز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. مختلف GPU پولز پر پری فل اور ڈی کوڈ کو الگ کرنے کی بنیادی ہارڈویئر وجہ کیا ہے؟
   • پری فل کمپیوٹ کے ساتھ پابند ہے جبکہ ڈی کوڈ میموری بینڈ وڈتھ کے ساتھ پابند ہے۔
   • وہ مختلف پروگرامنگ زبانیں استعمال کرتے ہیں۔
   • ڈی کوڈ کے لیے پری فل سے زیادہ بجلی درکار ہوتی ہے۔
   • پری فل GPUs پر بالکل نہیں چل سکتی
2. پری فل ورکرز سے ڈی کوڈ ورکرز کے لیے کون سا ڈیٹا ڈھانچہ منتقل کیا جانا چاہیے؟
   • ماڈل کا وزن
   • KV (کلیدی قدر) کیشے
   • ٹوکنائزر الفاظ کا ذخیرہ
   • اصلاح کرنے والی حالت
3. مشترکہ-GPU سیٹ اپ میں تفریق خاص طور پر کون سا مسئلہ کم کرتی ہے؟
   • GPU ڈرائیور کریش
   • انٹرنیٹ پر نیٹ ورک پیکٹ کا نقصان
   • ہیڈ آف لائن بلاکنگ جہاں ایک لمبا پری فل دوسروں کے ڈی کوڈ کو روکتا ہے۔
   • ماڈل ہیلوسینیشن
4. پری فل کو جارحانہ طریقے سے بیچ کیوں کیا جا سکتا ہے لیکن مختلف ٹیوننگ سے فوائد کو ڈی کوڈ کیا جا سکتا ہے؟
   • ڈی کوڈ کبھی بھی GPU استعمال نہیں کرتا ہے۔
   • پری فل دن میں صرف ایک بار چلتا ہے۔
   • پری فل کے دوران بیچنگ ناممکن ہے۔
   • پری فل ٹوکنز متوازی طور پر پڑھے جاتے ہیں، فی پاس کمپیوٹ کے استعمال کو زیادہ سے زیادہ کرتے ہیں۔
5. کن کن کنیکٹس کو عام طور پر کے وی کیشے کو الگ الگ تالابوں کے درمیان منتقل کرنے کے لیے استعمال کیا جاتا ہے؟
   • NVLink یا InfiniBand
   • ڈائل اپ موڈیم
   • USB 2.0 کیبلز
   • بلوٹوتھ
6. کون سے نام والے سسٹم الگ الگ پری فل/ڈی کوڈ سرونگ سے وابستہ ہیں؟
   • TCP، UDP، اور HTTP
   • ڈسٹ سرو، اسپلٹ وائز، اور مون کیک
   • ورڈ، ایکسل، اور پاورپوائنٹ
   • JPEG، PNG، اور GIF
7. Why must the KV cache produced during prefill be available to the decode workers?
   • It contains the model’s optimizer state
   • It stores the user’s GPU allocation
   • Decode uses cached prompt keys and values to generate subsequent tokens without recomputing the whole prompt
   • It is needed only to calculate validation accuracy
8. What is a resource-allocation benefit of separating prefill and decode pools?
   • Both phases must use identical batch sizes
   • The model no longer needs a KV cache
   • The scheduler can eliminate all network communication
   • Each phase can be sized and parallelized for its own compute or memory bottleneck