اگلااگلا گائیڈ
Autoscaling Model Inference on Kubernetes
تکنیکی
ٹیکنیکل گائیڈ
Kubernetes پر KServe اور ماڈل سرونگ
KServe پیمانے پر مشین لرننگ ماڈل پیش کرنے کے لیے ایک معیاری، Kubernetes کا مقامی پلیٹ فارم ہے۔
اس گائیڈ کو سنیں۔اے آئی نے بیان کیا۔ · ~2 min
اس صفحہ پر2 منٹ پڑھیں
جائزہ
یہ ٹیموں کو ماڈلز کو آٹو اسکیلنگ، کینری رول آؤٹس، اور اسکیل ٹو زیرو کے ساتھ تعینات کرنے کا ایک واحد، واضح طریقہ فراہم کرتا ہے، جو زیادہ تر Kubernetes پلمبنگ کو ختم کر دیتا ہے۔
گہرا غوطہ
پہلے KFServing کے نام سے جانا جاتا تھا اور Kubeflow پروجیکٹ سے پیدا ہوا تھا، KServe ایک InferenceService کسٹم وسیلہ کی وضاحت کرتا ہے۔ آپ آبجیکٹ اسٹوریج (S3، GCS، Azure Blob) میں محفوظ ماڈل کی طرف اشارہ کرتے ہوئے ایک مختصر YAML فائل لکھتے ہیں، اور KServe باقی کو ہینڈل کرتا ہے۔ یہ پیشین گوئی کے تخمینہ اور، تیزی سے، تخلیقی LLM سرونگ دونوں کی حمایت کرتا ہے۔ KServe عام فریم ورکس (TensorFlow Serving، TorchServe، Triton، scit-learn، XGBoost، Hugging Face) کے لیے پہلے سے بنایا ہوا 'سروسنگ رن ٹائمز' بھیجتا ہے اور اپنی مرضی کے کنٹینرز کو سپورٹ کرتا ہے۔ Knative Serving اور ایک نیٹ ورکنگ پرت (Istio یا اس سے ملتی جلتی) کے اوپر بنایا گیا ہے، یہ درخواست سے چلنے والی آٹو اسکیلنگ فراہم کرتا ہے جس میں حقیقی پیمانے سے صفر تک شامل ہے، لہذا بیکار ماڈل کوئی حساب نہیں کھاتے ہیں۔ یہ اوپن انفرنس پروٹوکول کے ارد گرد پیشن گوئی API کو بھی معیاری بناتا ہے، لہذا کلائنٹ فریم ورک سے قطع نظر ہر ماڈل سے اسی طرح بات کرتے ہیں۔
حقیقی دنیا کا نفاذ
ایک بینک S3 میں ماڈل کی طرف اشارہ کرتے ہوئے 10 لائن کی InferenceService YAML لکھ کر کریڈٹ اسکورنگ ماڈل تعینات کرتا ہے، جس میں KServe آٹو اسکیلنگ اور انگریس کو ہینڈل کرتا ہے۔
ایک ای کامرس ٹیم KServe کینری رول آؤٹس کا استعمال کرتے ہوئے 10 فیصد ٹریفک کو ایک نئے سفارشی ماڈل پر بھیجتی ہے، پھر میٹرکس صحت مند نظر آنے پر 100 فیصد تک ریمپ کرتی ہے۔
ایک ریسرچ لیب درجنوں شاذ و نادر ہی استعمال شدہ ماڈلز کو اسکیل ٹو صفر کے ساتھ پیش کرتی ہے، لہذا ہر ماڈل صرف اس وقت گھومتا ہے جب کوئی درخواست آتی ہے اور بیکار رہتے ہوئے کوئی GPU استعمال نہیں کرتا ہے۔
ایک MLOps ٹیم تصویر کا سائز تبدیل کرنے اور نارملائزیشن چلانے کے لیے KServe ٹرانسفارمر جزو کا استعمال کرتی ہے اس سے پہلے کہ پیشن گوئی کرنے والا Triton-served وژن ماڈل چلاتا ہے۔
Kubernetes پر KServe اور ماڈل سرونگ کا مستقبل
KServe تیزی سے تخلیقی AI کی طرف ترقی کر رہا ہے، جس میں KV-cache-Aware Routing، ماڈل کیشنگ، اور بڑے لینگویج ماڈلز کے لیے disaggregated prefill/decode سرونگ جیسی خصوصیات کے ساتھ ایک LLM فوکسڈ ٹریک شامل کر رہا ہے۔ vLLM جیسے انفرنس انجنوں کے ساتھ گہرے انضمام کی توقع کریں، ایک GPU کے لیے بہت بڑے ماڈلز کے لیے بہتر ملٹی نوڈ سرونگ، اور ٹوکن پر مبنی لوڈ بیلنسنگ کے لیے گیٹ وے لیول روٹنگ۔ CNCF-انکیوبٹنگ پروجیکٹ کے طور پر، یہ Kubernetes کے پیچھے ماڈلز ڈالنے کے لیے ڈی فیکٹو اوپن اسٹینڈرڈ بنتا جا رہا ہے، جس سے تحقیقی نمونوں اور لچکدار پروڈکشن اینڈ پوائنٹس کے درمیان فرق کو کم کیا جا رہا ہے۔
اسے عملی جامہ پہنانا
یہ کیوں اہمیت رکھتا ہے۔
- لاگت اور بجٹ. فن تعمیر کے فیصلے سالوں تک کارکردگی اور آپریٹنگ لاگت کو آگے بڑھاتے ہیں۔
- واضح فیصلے. تکنیکی تعلیم ٹیموں کو صحیح اسٹیک منتخب کرنے میں مدد کرتی ہے، نہ صرف جدید ترین۔
- کوالٹی کنٹرول. انجینئرنگ کے بہتر انتخاب پیداوار میں قابل اعتماد واقعات کو کم کرتے ہیں۔
پر نگاہ رکھیں
- ایک بینچ مارک کو بہتر بنانا نظام کی وسیع تر کمزوریوں کو چھپا سکتا ہے۔
- بنیادی ڈھانچے اور دیکھ بھال کے اخراجات کو اکثر کم سمجھا جاتا ہے۔
- سیکورٹی اور مشاہداتی فرق بڑھ سکتا ہے کیونکہ نظام زیادہ پیچیدہ ہو جاتا ہے۔
اگلے اقدامات
- نفاذ سے پہلے تاخیر، معیار اور لاگت کے اہداف کی وضاحت کریں۔
- حقیقت پسندانہ بوجھ اور ڈیٹا کی شرائط کے تحت بینچ مارک۔
- غلطیوں، بڑھے ہوئے، اور صارف کے اثرات کے لیے آلے کی نگرانی۔
- اسکیلنگ سے پہلے رول بیک اور واقعہ کے ردعمل کے راستے تیار کریں۔
دریافت کرتے رہیں
مفت نیوز لیٹر
روزانہ AI بریفنگ حاصل کریں
ہر ہفتے کے دن صبح تین تصدیق شدہ AI کہانیاں، سادہ انگریزی میں لکھی گئیں۔ ہمیشہ کے لیے مفت، کوئی اشتہار نہیں۔
ہر ہفتے کے دن ایک ای میل۔ ایک کلک میں ان سبسکرائب کریں۔ ہم کبھی بھی آپ کا پتہ فروخت یا شیئر نہیں کرتے۔
اپنے آپ کو جانچیں۔
Take the KServe and Model Serving on Kubernetes quiz
ہر جواب پر فوری فیڈبیک، اور کورس پاس کرنے کے بعد قابلِ تصدیق ID کے ساتھ شیئر کرنے کے قابل سرٹیفکیٹ۔
مفت AI تعلیم کی حمایت کریں۔ AI Understanding ایک 501(c)(3) غیر منافع بخش ادارہ ہے — کوئی اشتہار نہیں، کوئی پے وال نہیں، کبھی نہیں۔ عطیہ کریں۔
اکثر پوچھے گئے سوالات
KServe اور ماڈل سرونگ Kubernetes پر کیا ہے؟
KServe پیمانے پر مشین لرننگ ماڈل پیش کرنے کے لیے ایک معیاری، Kubernetes کا مقامی پلیٹ فارم ہے۔ یہ ٹیموں کو آٹو اسکیلنگ، کینری رول آؤٹس، اور اسکیل ٹو صفر کے ساتھ ماڈلز کو تعینات کرنے کا ایک واحد، اعلانیہ طریقہ فراہم کرتا ہے، جس سے زیادہ تر Kubernetes پلمبنگ کا خلاصہ ہوتا ہے۔
اسٹینڈ اسٹون پروجیکٹ بننے سے پہلے KServe کا پچھلا نام کیا تھا؟
KServe ایک آزاد پلیٹ فارم بننے سے پہلے Kubeflow پروجیکٹ کے اندر KFServing کے طور پر شروع ہوا۔
KServe کے ساتھ ایک ماڈل کو تعینات کرنے کے لیے آپ بنیادی Kubernetes کسٹم وسیلہ کیا ہے؟
آپ پیش کردہ ماڈل کو تعینات اور ترتیب دینے کے لیے، عام طور پر YAML میں، InferenceService کسٹم وسیلہ کا اعلان کرتے ہیں۔
کونسی صلاحیت غیر فعال KServe ماڈلز کو درخواست آنے تک صفر کمپیوٹ استعمال کرنے دیتی ہے؟
Knative پر بنایا گیا، KServe اسکیل ٹو صفر کو سپورٹ کرتا ہے، جب ٹریفک نہ ہو اور ڈیمانڈ پر کولڈ اسٹارٹنگ ہو تو نقل کو صفر پر گرا دیتا ہے۔
کونسا بنیادی پروجیکٹ KServe کی درخواست پر چلنے والی آٹو اسکیلنگ فراہم کرتا ہے؟
KServe Knative Serving پر بناتا ہے، جو ہم آہنگی یا درخواست کی شرح کی بنیاد پر نقلوں کو اسکیل کرتا ہے اور اسکیل ٹو صفر کو قابل بناتا ہے۔
KServe سٹارٹ اپ پر عام طور پر ماڈل آرٹفیکٹس کو سرونگ پوڈ میں کیسے حاصل کرتا ہے؟
سٹوریج انیشیلائزرز آبجیکٹ سٹوریج (جیسے S3 یا GCS) سے ماڈل نمونے کو پوڈ میں ڈاؤن لوڈ کرتے ہیں، تصویر سے ماڈلز کو ڈیکپل کرتے ہیں۔
سیکھتے رہیں
متعلقہ گائیڈز
اس موضوع کے لیے مزید گائیڈز چنے گئے ہیں۔