የቴክኒክ መመሪያ

KServe እና ሞዴል በኩበርኔትስ ማገልገል

KServe የማሽን መማሪያ ሞዴሎችን በመጠን ለማገልገል ደረጃውን የጠበቀ የኩበርኔትስ ተወላጅ መድረክ ነው።

2 ሚን አንብብለመጨረሻ ጊዜ የዘመነው

አጠቃላይ እይታ

It gives teams a single, declarative way to deploy models with autoscaling, canary rollouts, and scale-to-zero, abstracting away most of the Kubernetes plumbing.

ጥልቅ ዳይቭ

ቀደም ሲል KFServing በመባል የሚታወቀው እና ከ Kubeflow ፕሮጀክት የተወለደ፣ KServe የኢንፈረንስ አገልግሎት ብጁ ግብዓት ይገልፃል። በነገር ማከማቻ (S3፣ GCS፣ Azure Blob) ውስጥ በተከማቸ ሞዴል ላይ አጭር የ YAML ፋይል ይጽፋሉ፣ እና KServe ቀሪውን ይይዛል። ሁለቱንም ግምታዊ ግምት እና፣ እየጨመረ፣ አመንጪ LLM አገልግሎትን ይደግፋል። KServe ለጋራ ማዕቀፎች (TensorFlow Serving, TorchServe, Triton, scikit-learn, XGBoost, Hugging Face) ቀድመው የተገነቡ እና ብጁ ኮንቴይነሮችን ይደግፋል። ከKnative Serving እና ከአውታረ መረብ ንብርብር (ኢስቲዮ ወይም ተመሳሳይ) በላይ የተገነባው በጥያቄ የሚመራ አውቶማቲክ ሚዛን ከዜሮ እስከ ዜሮን ጨምሮ በጥያቄ የሚመራ አውቶማቲክን ያቀርባል፣ ስለዚህ ስራ ፈት ሞዴሎች ምንም ስሌት አይጠቀሙም። እንዲሁም የትንበያ ኤፒአይን በOpen Inference Protocol ዙሪያ ደረጃውን የጠበቀ ነው፣ ስለዚህ ደንበኞቻቸው ምንም አይነት ማዕቀፍ ቢኖራቸውም ለእያንዳንዱ ሞዴል በተመሳሳይ መንገድ ይነጋገራሉ።

ቴክኒካዊ ግንዛቤ

የKServe አውቶማቲካሊንግ በKnative ላይ ዘንበል ይላል፣ ይህም በተዛማጅነት ወይም በጥያቄዎች በሰከንድ የተባዛ ቁጥርን የሚለካው እና ትራፊክ ሲቆም ወደ ዜሮ ቅጂዎች ሊወርድ ይችላል፣ ከዚያም በፍላጎት ይጀምራል። የ Inference አገልግሎት ሙሉ የማጣቀሻ ቧንቧን ወደ ትንበያ፣ ትራንስፎርመር (ቅድመ/ድህረ-ሂደት) እና ገላጭ አካላት ያዘጋጃል። ሞዴሎች ከዕቃ ማከማቻው በ'ማከማቻ ማስጀመሪያ' በኩል ይጫናሉ፣ በጅምር ላይ ቅርሶችን ወደ ፖድ ውስጥ ይጎትቱ፣ የሞዴል ማከማቻን ከማገልገያ መያዣ ምስል ላይ በማላቀቅ።

ስልታዊ ተጽእኖ

ወጪ እና በጀት

የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.

ግልጽ ውሳኔዎች

የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።

የጥራት ቁጥጥር

የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.

የKServe የወደፊት እና ሞዴል በኩበርኔትስ ላይ ማገልገል

KServe እንደ KV-cache-aware routeing፣ሞዴል መሸጎጫ፣እና የተዋሃደ ቅድመ-ሙላ/መግለጫ ለትልቅ ቋንቋ ሞዴሎች ያሉ ባህሪያትን የያዘ LLM ላይ ያተኮረ ትራክ በማከል ወደ ጀነሬቲቭ AI በፍጥነት እያደገ ነው። እንደ vLLM ካሉ ኢንቬንሽን ሞተሮች ጋር ጠለቅ ያለ ውህደትን ይጠብቁ፣ ለአንድ ጂፒዩ በጣም ትልቅ ለሆኑ ሞዴሎች የተሻሉ ባለብዙ-ኖድ አገልግሎት እና በቶከን ላይ የተመሰረተ ጭነት ማመጣጠን። እንደ CNCF-incubating ፕሮጀክት፣ ሞዴሎችን ከኩበርኔትስ ጀርባ ለማስቀመጥ፣ በምርምር ቅርሶች እና ተከላካይ በሆኑ የምርት የመጨረሻ ነጥቦች መካከል ያለውን ልዩነት በማጥበብ ዋናው ክፍት መስፈርት እየሆነ ነው።

የእውነተኛ-ዓለም አተገባበር

አንድ ባንክ ባለ 10-መስመር InferenceService YAML በS3 ውስጥ ያለውን ሞዴል በመጠቆም የክሬዲት ነጥብ ማስመዝገቢያ ሞዴልን በ KServe አያያዝ አውቶማቲካሊንግ እና መግባትን ያሰማራል።

የኢ-ኮሜርስ ቡድን 10 በመቶ ትራፊክ ወደ አዲስ የጥቆማ ሞዴል ለመላክ የKServe canary rollouts ይጠቀማል፣ ከዚያ መለኪያዎች ጤናማ ሆነው ሲታዩ ወደ 100 በመቶ ይደርሳል።

የምርምር ላብራቶሪ በደርዘን የሚቆጠሩ እምብዛም ጥቅም ላይ ያልዋሉ ሞዴሎችን ከደረጃ ወደ ዜሮ ያገለግላል፣ ስለዚህ እያንዳንዱ ሞዴል የሚሽከረከረው ጥያቄ ሲመጣ ብቻ ነው እና ስራ ፈት እያለ ጂፒዩ አይጠቀምም።

የMLOps ቡድን የምስል መጠን መቀየር እና መደበኛ ማድረግን ለማስኬድ የMLOps ቡድን በትሪቶን የቀረበ የእይታ ሞዴልን ከማስኬዱ በፊት የKServe ትራንስፎርመር አካልን ይጠቀማል።

አደጋዎች እና የጥበቃ መንገዶች

አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።

የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.

ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።

የትግበራ ፍኖተ ካርታ

1

ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።

2

ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።

3

ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።

4

ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።

ማሰስዎን ይቀጥሉ

AI ቤንችማርኮች

ቴክኒካዊ አማራጮችን ሲያወዳድሩ ግምገማን በአግባቡ ይጠቀሙ።

መመሪያ ያንብቡ

የማጠናከሪያ ትምህርት

ወደ ቴክኒካዊ የሥልጠና ስልቶች በጥልቀት ይሂዱ።

መመሪያ ያንብቡ

Free newsletter

Get the daily AI briefing

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the KServe and Model Serving on Kubernetes quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

ለኮድ ሞዴሎች ግምታዊ አርትዖቶች

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is KServe and Model Serving on Kubernetes?

KServe የማሽን መማሪያ ሞዴሎችን በመጠን ለማገልገል ደረጃውን የጠበቀ የኩበርኔትስ ተወላጅ መድረክ ነው። ለቡድኖች አንድ ነጠላ ገላጭ መንገድ በአውቶስካሊንግ፣ በካናሪ ልቀቶች እና በመጠን ወደ ዜሮ የሚወስዱ ሲሆን ይህም አብዛኛዎቹን የኩበርኔትስ ቧንቧዎችን ያስወግዳል።

ራሱን የቻለ ፕሮጀክት ከመሆኑ በፊት የ KServe የቀድሞ ስም ማን ነበር?

KServe ራሱን የቻለ መድረክ ከመሆኑ በፊት በ Kubeflow ፕሮጀክት ውስጥ እንደ KFSserving ነው የመጣው።

ሞዴልን ከKServe ጋር ለማሰማራት የገለፁት ዋናው የኩበርኔትስ ብጁ ግብአት ምንድነው?

የቀረበውን ሞዴል ለማሰማራት እና ለማዋቀር የInferenceService ብጁ ግብዓት፣በተለይ በYAML ውስጥ ታውጃለህ።

ጥያቄ እስኪመጣ ድረስ ስራ ፈት የሆኑ የKServe ሞዴሎች ዜሮ ስሌት እንዲፈጁ የሚያስችላቸው የትኛው አቅም ነው?

በKnative ላይ የተገነባው KServe ትራፊክ በማይኖርበት ጊዜ ቅጂዎችን ወደ ዜሮ በመጣል እና በፍላጎት የሚጀምር ቅዝቃዜን ከደረጃ ወደ ዜሮ ይደግፋል።

የ KServeን በጥያቄ የሚመራ አውቶማቲክን የሚያቀርበው የትኛው መሰረታዊ ፕሮጀክት ነው?

KServe በKnative Serving ላይ ይገነባል፣ ይህም በተዛማጅነት ወይም በጥያቄ መጠን ላይ ተመስርተው ቅጂዎችን የሚለካ እና ከዜሮ ወደ ዜሮ እንዲመጣጠን ያስችላል።

እንዴት ነው KServe በሚነሳበት ጊዜ ሞዴል ቅርሶችን ወደ ማቅረቢያ ፖድ የሚያገኘው?

የማጠራቀሚያ ጀማሪዎች የሞዴል ቅርሶችን ከእቃ ማከማቻ (እንደ S3 ወይም GCS ያሉ) ወደ ፖድ ያወርዳሉ፣ ሞዴሎችን ከምስሉ መፍታት።

ተዛማጅ መመሪያዎች