পরবর্তী আপপরবর্তী গাইড
Autoscaling Model Inference on Kubernetes
টেকনিক্যাল
প্রযুক্তিগত গাইড
KServe একটি মানসম্মত, কুবারনেটস-নেটিভ প্ল্যাটফর্ম যা স্কেলে মেশিন লার্নিং মডেল পরিবেশন করে।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min
It gives teams a single, declarative way to deploy models with autoscaling, canary rollouts, and scale-to-zero, abstracting away most of the Kubernetes plumbing.
পূর্বে KFServing নামে পরিচিত এবং Kubeflow প্রজেক্ট থেকে জন্ম নেওয়া, KServe একটি InferenceService কাস্টম রিসোর্স সংজ্ঞায়িত করে। আপনি অবজেক্ট স্টোরেজ (S3, GCS, Azure Blob) এ সংরক্ষিত একটি মডেলের দিকে নির্দেশ করে একটি ছোট YAML ফাইল লিখুন এবং KServe বাকিগুলি পরিচালনা করে। এটি ভবিষ্যদ্বাণীমূলক অনুমান এবং ক্রমবর্ধমানভাবে, জেনারেটিভ এলএলএম পরিবেশন উভয়কেই সমর্থন করে। KServe সাধারণ ফ্রেমওয়ার্ক (টেনসরফ্লো সার্ভিং, টর্চসার্ভ, ট্রাইটন, স্কিট-লার্ন, XGBoost, হাগিং ফেস) এর জন্য পূর্ব-নির্মিত 'সার্ভিং রানটাইম' পাঠায় এবং কাস্টম কন্টেইনার সমর্থন করে। নেটিভ সার্ভিং এবং একটি নেটওয়ার্কিং লেয়ার (Istio বা অনুরূপ) এর উপরে নির্মিত, এটি সত্য স্কেল-থেকে-শূন্য সহ অনুরোধ-চালিত অটোস্কেলিং প্রদান করে, তাই নিষ্ক্রিয় মডেলগুলি কোনও গণনা গ্রহণ করে না। এটি ওপেন ইনফরেন্স প্রোটোকলের আশেপাশে ভবিষ্যদ্বাণী API-কে মানসম্মত করে, তাই ফ্রেমওয়ার্ক নির্বিশেষে ক্লায়েন্টরা প্রতিটি মডেলের সাথে একইভাবে কথা বলে।
একটি ব্যাঙ্ক একটি ক্রেডিট-স্কোরিং মডেল স্থাপন করে একটি 10-লাইন InferenceService YAML লিখে S3-এ মডেলের দিকে নির্দেশ করে, KServe অটোস্কেলিং এবং প্রবেশের ব্যবস্থা করে।
একটি ই-কমার্স দল KServe ক্যানারি রোলআউট ব্যবহার করে 10 শতাংশ ট্রাফিক একটি নতুন সুপারিশ মডেলে পাঠায়, তারপর মেট্রিক্স সুস্থ দেখালে 100 শতাংশে র্যাম্প করে।
একটি গবেষণা ল্যাব স্কেল-টু-জিরো সহ কয়েক ডজন বিরল ব্যবহৃত মডেল পরিবেশন করে, তাই প্রতিটি মডেল শুধুমাত্র যখন একটি অনুরোধ আসে তখনই স্পিন করে এবং নিষ্ক্রিয় অবস্থায় কোন GPU ব্যবহার করে না।
একটি MLOps দল একটি KServe ট্রান্সফরমার কম্পোনেন্ট ব্যবহার করে ইমেজ রিসাইজিং এবং নরমালাইজেশন চালানোর আগে ভবিষ্যদ্বাণীকারী ট্রাইটন-সার্ভড ভিশন মডেল চালায়।
KServe দ্রুত জেনারেটিভ এআই-এর দিকে বিকশিত হচ্ছে, KV-ক্যাশে-সচেতন রাউটিং, মডেল ক্যাশিং, এবং বৃহৎ ভাষার মডেলের জন্য ডিস্যাগ্রিগেটেড প্রিফিল/ডিকোড পরিবেশনের মতো বৈশিষ্ট্য সহ একটি LLM-কেন্দ্রিক ট্র্যাক যোগ করছে। ভিএলএলএম-এর মতো ইনফারেন্স ইঞ্জিনগুলির সাথে গভীর সংহতকরণ, একটি জিপিইউ-এর জন্য খুব বড় মডেলগুলির জন্য আরও ভাল মাল্টি-নোড পরিবেশন এবং টোকেন-ভিত্তিক লোড ব্যালেন্সিংয়ের জন্য গেটওয়ে-লেভেল রাউটিং আশা করুন। একটি সিএনসিএফ-ইনকিউবেটিং প্রকল্প হিসেবে, এটি কুবারনেটসের পিছনে মডেল স্থাপনের জন্য ডি ফ্যাক্টো ওপেন স্ট্যান্ডার্ড হয়ে উঠছে, যা গবেষণার নিদর্শন এবং স্থিতিস্থাপক উত্পাদনের শেষ পয়েন্টগুলির মধ্যে ব্যবধান কমিয়েছে।
ফ্রি নিউজলেটার
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
KServe একটি মানসম্মত, কুবারনেটস-নেটিভ প্ল্যাটফর্ম যা স্কেলে মেশিন লার্নিং মডেল পরিবেশন করে। এটি দলগুলিকে অটোস্কেলিং, ক্যানারি রোলআউট এবং স্কেল-টু-জিরো সহ মডেলগুলি স্থাপন করার জন্য একটি একক, ঘোষণামূলক উপায় দেয়, যা বেশিরভাগ কুবারনেটস প্লাম্বিংকে সরিয়ে দেয়।
KServe একটি স্বাধীন প্ল্যাটফর্ম হওয়ার আগে Kubeflow প্রকল্পের মধ্যে KFServing হিসাবে উদ্ভূত হয়েছিল।
একটি পরিবেশিত মডেল স্থাপন এবং কনফিগার করার জন্য আপনি একটি InferenceService কাস্টম সংস্থান ঘোষণা করেন, সাধারণত YAML-এ।
Knative-এ নির্মিত, KServe স্কেল-টু-জিরো সমর্থন করে, যখন ট্র্যাফিক নেই এবং চাহিদা অনুযায়ী ঠান্ডা শুরু হয় তখন প্রতিলিপিগুলিকে শূন্যে নামিয়ে দেয়।
KServe Knative সার্ভিং-এর উপর তৈরি করে, যা সঙ্গতি বা অনুরোধের হারের উপর ভিত্তি করে প্রতিলিপি স্কেল করে এবং স্কেল-থেকে-শূন্য সক্ষম করে।
স্টোরেজ ইনিশিয়ালাইজাররা অবজেক্ট স্টোরেজ থেকে মডেল আর্টিফ্যাক্ট ডাউনলোড করে (যেমন S3 বা GCS) পডে, ইমেজ থেকে মডেলগুলিকে ডিকপলিং করে।
শিখতে থাকুন
এই বিষয়ের জন্য বাছাই করা আরও গাইড
পরবর্তী আপপরবর্তী গাইড
Autoscaling Model Inference on Kubernetes
টেকনিক্যাল