প্রযুক্তিগত গাইড

KServe এবং Kubernetes-এ মডেল পরিবেশন

KServe একটি মানসম্মত, কুবারনেটস-নেটিভ প্ল্যাটফর্ম যা স্কেলে মেশিন লার্নিং মডেল পরিবেশন করে।

এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min

এই পৃষ্ঠায়2 মিনিট পঠিত
  1. ওভারভিউ
  2. গভীর ডুব
  3. বাস্তব-বিশ্ব বাস্তবায়ন
  4. KServe এর ভবিষ্যত এবং Kubernetes-এ মডেল পরিবেশন
  5. এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
  6. অন্বেষণ চালিয়ে যান
  7. প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

ওভারভিউ

It gives teams a single, declarative way to deploy models with autoscaling, canary rollouts, and scale-to-zero, abstracting away most of the Kubernetes plumbing.

গভীর ডুব

পূর্বে KFServing নামে পরিচিত এবং Kubeflow প্রজেক্ট থেকে জন্ম নেওয়া, KServe একটি InferenceService কাস্টম রিসোর্স সংজ্ঞায়িত করে। আপনি অবজেক্ট স্টোরেজ (S3, GCS, Azure Blob) এ সংরক্ষিত একটি মডেলের দিকে নির্দেশ করে একটি ছোট YAML ফাইল লিখুন এবং KServe বাকিগুলি পরিচালনা করে। এটি ভবিষ্যদ্বাণীমূলক অনুমান এবং ক্রমবর্ধমানভাবে, জেনারেটিভ এলএলএম পরিবেশন উভয়কেই সমর্থন করে। KServe সাধারণ ফ্রেমওয়ার্ক (টেনসরফ্লো সার্ভিং, টর্চসার্ভ, ট্রাইটন, স্কিট-লার্ন, XGBoost, হাগিং ফেস) এর জন্য পূর্ব-নির্মিত 'সার্ভিং রানটাইম' পাঠায় এবং কাস্টম কন্টেইনার সমর্থন করে। নেটিভ সার্ভিং এবং একটি নেটওয়ার্কিং লেয়ার (Istio বা অনুরূপ) এর উপরে নির্মিত, এটি সত্য স্কেল-থেকে-শূন্য সহ অনুরোধ-চালিত অটোস্কেলিং প্রদান করে, তাই নিষ্ক্রিয় মডেলগুলি কোনও গণনা গ্রহণ করে না। এটি ওপেন ইনফরেন্স প্রোটোকলের আশেপাশে ভবিষ্যদ্বাণী API-কে মানসম্মত করে, তাই ফ্রেমওয়ার্ক নির্বিশেষে ক্লায়েন্টরা প্রতিটি মডেলের সাথে একইভাবে কথা বলে।

বাস্তব-বিশ্ব বাস্তবায়ন

একটি ব্যাঙ্ক একটি ক্রেডিট-স্কোরিং মডেল স্থাপন করে একটি 10-লাইন InferenceService YAML লিখে S3-এ মডেলের দিকে নির্দেশ করে, KServe অটোস্কেলিং এবং প্রবেশের ব্যবস্থা করে।

একটি ই-কমার্স দল KServe ক্যানারি রোলআউট ব্যবহার করে 10 শতাংশ ট্রাফিক একটি নতুন সুপারিশ মডেলে পাঠায়, তারপর মেট্রিক্স সুস্থ দেখালে 100 শতাংশে র‌্যাম্প করে।

একটি গবেষণা ল্যাব স্কেল-টু-জিরো সহ কয়েক ডজন বিরল ব্যবহৃত মডেল পরিবেশন করে, তাই প্রতিটি মডেল শুধুমাত্র যখন একটি অনুরোধ আসে তখনই স্পিন করে এবং নিষ্ক্রিয় অবস্থায় কোন GPU ব্যবহার করে না।

একটি MLOps দল একটি KServe ট্রান্সফরমার কম্পোনেন্ট ব্যবহার করে ইমেজ রিসাইজিং এবং নরমালাইজেশন চালানোর আগে ভবিষ্যদ্বাণীকারী ট্রাইটন-সার্ভড ভিশন মডেল চালায়।

KServe এর ভবিষ্যত এবং Kubernetes-এ মডেল পরিবেশন

KServe দ্রুত জেনারেটিভ এআই-এর দিকে বিকশিত হচ্ছে, KV-ক্যাশে-সচেতন রাউটিং, মডেল ক্যাশিং, এবং বৃহৎ ভাষার মডেলের জন্য ডিস্যাগ্রিগেটেড প্রিফিল/ডিকোড পরিবেশনের মতো বৈশিষ্ট্য সহ একটি LLM-কেন্দ্রিক ট্র্যাক যোগ করছে। ভিএলএলএম-এর মতো ইনফারেন্স ইঞ্জিনগুলির সাথে গভীর সংহতকরণ, একটি জিপিইউ-এর জন্য খুব বড় মডেলগুলির জন্য আরও ভাল মাল্টি-নোড পরিবেশন এবং টোকেন-ভিত্তিক লোড ব্যালেন্সিংয়ের জন্য গেটওয়ে-লেভেল রাউটিং আশা করুন। একটি সিএনসিএফ-ইনকিউবেটিং প্রকল্প হিসেবে, এটি কুবারনেটসের পিছনে মডেল স্থাপনের জন্য ডি ফ্যাক্টো ওপেন স্ট্যান্ডার্ড হয়ে উঠছে, যা গবেষণার নিদর্শন এবং স্থিতিস্থাপক উত্পাদনের শেষ পয়েন্টগুলির মধ্যে ব্যবধান কমিয়েছে।

এটাকে বাস্তবে প্রয়োগ করা হচ্ছে

কেন এটা গুরুত্বপূর্ণ

  • খরচ ও বাজেট. আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
  • সুস্পষ্ট সিদ্ধান্ত. কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
  • মান নিয়ন্ত্রণ. ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।

জন্য সতর্ক

  • একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
  • অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
  • সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।

পরবর্তী পদক্ষেপ

  1. বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
  2. বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
  3. ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
  4. স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।

অন্বেষণ চালিয়ে যান

ফ্রি নিউজলেটার

প্রতিদিনের এআই ব্রিফিং পান

প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।

প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।

নিজেকে পরীক্ষা করুন

Take the KServe and Model Serving on Kubernetes quiz

প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।

কুইজ শুরু করুন

ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন

প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

What is KServe and Model Serving on Kubernetes?

KServe একটি মানসম্মত, কুবারনেটস-নেটিভ প্ল্যাটফর্ম যা স্কেলে মেশিন লার্নিং মডেল পরিবেশন করে। এটি দলগুলিকে অটোস্কেলিং, ক্যানারি রোলআউট এবং স্কেল-টু-জিরো সহ মডেলগুলি স্থাপন করার জন্য একটি একক, ঘোষণামূলক উপায় দেয়, যা বেশিরভাগ কুবারনেটস প্লাম্বিংকে সরিয়ে দেয়।

এটি একটি স্বতন্ত্র প্রকল্পে পরিণত হওয়ার আগে KServe এর পূর্বের নাম কি ছিল?

KServe একটি স্বাধীন প্ল্যাটফর্ম হওয়ার আগে Kubeflow প্রকল্পের মধ্যে KFServing হিসাবে উদ্ভূত হয়েছিল।

KServe এর সাথে একটি মডেল স্থাপন করার জন্য আপনি যে প্রাথমিক Kubernetes কাস্টম রিসোর্সটি সংজ্ঞায়িত করেছেন তা কী?

একটি পরিবেশিত মডেল স্থাপন এবং কনফিগার করার জন্য আপনি একটি InferenceService কাস্টম সংস্থান ঘোষণা করেন, সাধারণত YAML-এ।

একটি অনুরোধ না আসা পর্যন্ত কোন ক্ষমতা নিষ্ক্রিয় KServe মডেলগুলিকে শূন্য গণনা করতে দেয়?

Knative-এ নির্মিত, KServe স্কেল-টু-জিরো সমর্থন করে, যখন ট্র্যাফিক নেই এবং চাহিদা অনুযায়ী ঠান্ডা শুরু হয় তখন প্রতিলিপিগুলিকে শূন্যে নামিয়ে দেয়।

কোন অন্তর্নিহিত প্রকল্প KServe-এর অনুরোধ-চালিত অটোস্কেলিং প্রদান করে?

KServe Knative সার্ভিং-এর উপর তৈরি করে, যা সঙ্গতি বা অনুরোধের হারের উপর ভিত্তি করে প্রতিলিপি স্কেল করে এবং স্কেল-থেকে-শূন্য সক্ষম করে।

কে-সার্ভ সাধারণত স্টার্টআপের সময় একটি সার্ভিং পডে মডেল আর্টিফ্যাক্টগুলিকে কীভাবে পায়?

স্টোরেজ ইনিশিয়ালাইজাররা অবজেক্ট স্টোরেজ থেকে মডেল আর্টিফ্যাক্ট ডাউনলোড করে (যেমন S3 বা GCS) পডে, ইমেজ থেকে মডেলগুলিকে ডিকপলিং করে।

শিখতে থাকুন

সম্পর্কিত গাইড

এই বিষয়ের জন্য বাছাই করা আরও গাইড

একটি বিনামূল্যে AI শংসাপত্র পানএকটি সংক্ষিপ্ত বিনামূল্যে কোর্স এবং পরীক্ষা. কোনো খরচ নেই, কোনো কার্ড নেই। প্রায় 2.5 ঘন্টা।বিনামূল্যে শুরু করুন →