KServe na Model Serving kwenye Kubernetes
KServe ni jukwaa sanifu, la asili la Kubernetes la kutoa mifano ya kujifunza kwa mashine kwa kiwango.
Muhtasari
It gives teams a single, declarative way to deploy models with autoscaling, canary rollouts, and scale-to-zero, abstracting away most of the Kubernetes plumbing.
Dive ya kina
Hapo awali ilijulikana kama KFServing na kuzaliwa kutoka kwa mradi wa Kubeflow, KServe inafafanua rasilimali maalum ya InferenceService. Unaandika faili fupi ya YAML inayoelekeza kwenye modeli iliyohifadhiwa kwenye hifadhi ya kitu (S3, GCS, Azure Blob), na KServe inashughulikia zingine. Inaauni uelekezaji wa utabiri na, inazidi, huduma ya LLM inayozalisha. Meli za KServe zilizoundwa awali 'kuhudumia nyakati' kwa mifumo ya kawaida (TensorFlow Serving, TorchServe, Triton, scikit-learn, XGBoost, Hugging Face) na inasaidia vyombo maalum. Imejengwa juu ya Knative Serving na safu ya mtandao (Istio au inayofanana nayo), inatoa uboreshaji otomatiki unaoendeshwa na ombi ikijumuisha kipimo halisi hadi sifuri, kwa hivyo miundo isiyo na kazi haitumii kompyuta. Pia husawazisha API ya utabiri karibu na Itifaki ya Uelekezaji Wazi, kwa hivyo wateja huzungumza na kila modeli kwa njia sawa bila kujali mfumo.
Ufahamu wa Kiufundi
Ukadiriaji kiotomatiki wa KServe hutegemea Knative, ambayo hukadiria hesabu ya nakala kulingana na upatanifu au maombi kwa kila sekunde na inaweza kushuka hadi sifuri nakala za trafiki zinaposimama, kisha kuanza kwa baridi inapohitajika. InferenceService huchota bomba kamili la uelekezaji kuwa kitabiri, kibadilishaji umeme (kabla/baada ya usindikaji), na vipengee vya ufafanuzi. Miundo hupakia kutoka kwa hifadhi ya kitu kupitia 'vianzishaji vya uhifadhi' ambavyo huvuta vizalia vya programu kwenye ganda wakati wa kuanza, na kuunganisha hifadhi ya kielelezo kutoka kwa picha ya chombo kinachohudumia.
Athari za kimkakati
Cost and budget
Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
Maamuzi ya wazi zaidi
Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
Quality control
Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Mustakabali wa KServe na Model Serving kwenye Kubernetes
KServe inabadilika kwa haraka kuelekea AI genereshi, ikiongeza wimbo unaolenga LLM na vipengele kama vile uelekezaji wa akiba ya KV, uhifadhi wa modeli, na utoaji wa awali/kusimbua uliogawanywa kwa miundo mikubwa ya lugha. Tarajia muunganisho wa kina na injini za makisio kama vile vLLM, huduma bora za nodi nyingi kwa miundo mikubwa mno kwa GPU moja, na uelekezaji wa kiwango cha lango kwa kusawazisha mizigo inayotegemea tokeni. Kama mradi wa kujumuisha CNCF, unakuwa kiwango wazi cha kuweka miundo nyuma ya Kubernetes, ikipunguza pengo kati ya vizalia vya utafiti na ncha za uzalishaji zinazostahimili.
Utekelezaji wa Ulimwengu Halisi
Benki hutumia kielelezo cha uwekaji alama za mkopo kwa kuandika InferenceService YAML ya mistari 10 inayoelekeza kwenye kielelezo katika S3, huku KServe ikishughulikia kupima kiotomatiki na kuingia.
Timu ya e-commerce hutumia uchapishaji wa canary ya KServe kutuma asilimia 10 ya trafiki kwa muundo mpya wa mapendekezo, kisha njia panda hadi asilimia 100 mara tu vipimo vinapoonekana kuwa sawa.
Maabara ya utafiti hutoa miundo mingi ambayo haitumiki sana na yenye mizani hadi sifuri, kwa hivyo kila muundo husokota tu wakati ombi linapowasili na hutumia GPU bila kufanya kitu.
Timu ya MLOps hutumia kipengee cha kibadilishaji cha KServe kutekeleza kubadilisha ukubwa wa picha na kuhalalisha kabla ya kitabiri kutekeleza muundo wa maono unaotolewa na Triton.
Hatari & Walinzi
Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Ramani ya Utekelezaji
Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
Benchmark chini ya mzigo halisi na hali ya data.
Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the KServe and Model Serving on Kubernetes quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Uhariri wa Kukisia kwa Miundo ya Msimbo
Maswali yanayoulizwa mara kwa mara
What is KServe and Model Serving on Kubernetes?
KServe ni jukwaa sanifu, la asili la Kubernetes la kutoa mifano ya kujifunza kwa mashine kwa kiwango. Huzipa timu njia moja, ya kubainisha ya kupeleka miundo yenye kuongeza kiotomatiki, uchapishaji wa canary, na kiwango hadi sifuri, ikiondoa sehemu kubwa ya mabomba ya Kubernetes.
Jina la awali la KServe lilikuwa lipi kabla ya kuwa mradi wa kujitegemea?
KServe ilitoka kama KFSserving ndani ya mradi wa Kubeflow kabla ya kuwa jukwaa huru.
Ni rasilimali gani ya msingi ya Kubernetes unayofafanua ili kupeleka kielelezo na KServe?
Unatangaza nyenzo maalum ya InferenceService, kwa kawaida katika YAML, ili kupeleka na kusanidi muundo unaotolewa.
Je, ni uwezo gani huruhusu miundo ya KServe isiyo na kitu kutumia hesabu ya sifuri hadi ombi liwasili?
Imejengwa kwa Knative, KServe inaauni kiwango-hadi-sifuri, ikidondosha nakala hadi sifuri wakati hakuna trafiki na kuanza kwa baridi inapohitajika.
Je, ni mradi gani wa kimsingi ambao hutoa uwekaji otomatiki unaoendeshwa na ombi la KServe?
KServe hujengwa juu ya Huduma ya Knative, ambayo huweka nakala kulingana na upatanisho wa sarafu au kiwango cha ombi na kuwezesha kiwango hadi sifuri.
KServe kawaida hupata vipi vizalia vya kielelezo kwenye ganda la kuhudumia wakati wa kuanza?
Vianzilishi vya hifadhi hupakua vizalia vya miundo kutoka kwa hifadhi ya kitu (kama S3 au GCS) hadi kwenye ganda, vikitenganisha miundo kutoka kwa picha.