InayofuataMwongozo unaofuata
Autoscaling Model Inference on Kubernetes
Kiufundi
MWONGOZO wa Kiufundi
KServe na Model Serving kwenye Kubernetes
KServe ni jukwaa sanifu, la asili la Kubernetes la kutoa mifano ya kujifunza kwa mashine kwa kiwango.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
Huzipa timu njia moja ya kubainisha ya kupeleka miundo yenye kuongeza kiotomatiki, uchapishaji wa canary, na kiwango hadi sifuri, ikiondoa sehemu kubwa ya mabomba ya Kubernetes.
Dive ya kina
Hapo awali ilijulikana kama KFServing na kuzaliwa kutoka kwa mradi wa Kubeflow, KServe inafafanua rasilimali maalum ya InferenceService. Unaandika faili fupi ya YAML inayoelekeza kwenye modeli iliyohifadhiwa kwenye hifadhi ya kitu (S3, GCS, Azure Blob), na KServe inashughulikia zingine. Inaauni uelekezaji wa utabiri na, inazidi, huduma ya LLM inayozalisha. Meli za KServe zilizoundwa awali 'kuhudumia nyakati' kwa mifumo ya kawaida (TensorFlow Serving, TorchServe, Triton, scikit-learn, XGBoost, Hugging Face) na inasaidia vyombo maalum. Imejengwa juu ya Knative Serving na safu ya mtandao (Istio au inayofanana nayo), inatoa uboreshaji otomatiki unaoendeshwa na ombi ikijumuisha kipimo halisi hadi sifuri, kwa hivyo miundo isiyo na kazi haitumii kompyuta. Pia husawazisha API ya utabiri karibu na Itifaki ya Uelekezaji Wazi, kwa hivyo wateja huzungumza na kila modeli kwa njia sawa bila kujali mfumo.
Utekelezaji wa Ulimwengu Halisi
Benki hutumia kielelezo cha uwekaji alama za mkopo kwa kuandika InferenceService YAML ya mistari 10 inayoelekeza kwenye kielelezo katika S3, huku KServe ikishughulikia kupima kiotomatiki na kuingia.
Timu ya e-commerce hutumia uchapishaji wa canary ya KServe kutuma asilimia 10 ya trafiki kwa muundo mpya wa mapendekezo, kisha njia panda hadi asilimia 100 mara tu vipimo vinapoonekana kuwa sawa.
Maabara ya utafiti hutoa miundo mingi ambayo haitumiki sana na yenye mizani hadi sifuri, kwa hivyo kila muundo husokota tu wakati ombi linapowasili na hutumia GPU bila kufanya kitu.
Timu ya MLOps hutumia kipengee cha kibadilishaji cha KServe kutekeleza kubadilisha ukubwa wa picha na kuhalalisha kabla ya kitabiri kutekeleza muundo wa maono unaotolewa na Triton.
Mustakabali wa KServe na Model Serving kwenye Kubernetes
KServe inabadilika kwa haraka kuelekea AI genereshi, ikiongeza wimbo unaolenga LLM na vipengele kama vile uelekezaji wa akiba ya KV, uhifadhi wa modeli, na utoaji wa awali/kusimbua uliogawanywa kwa miundo mikubwa ya lugha. Tarajia muunganisho wa kina na injini za makisio kama vile vLLM, huduma bora za nodi nyingi kwa miundo mikubwa mno kwa GPU moja, na uelekezaji wa kiwango cha lango kwa kusawazisha mizigo inayotegemea tokeni. Kama mradi wa kujumuisha CNCF, unakuwa kiwango wazi cha kuweka miundo nyuma ya Kubernetes, ikipunguza pengo kati ya vizalia vya utafiti na ncha za uzalishaji zinazostahimili.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Gharama na bajeti. Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
- Maamuzi ya wazi zaidi. Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
- Udhibiti wa ubora. Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Jihadharini na
- Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
- Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
- Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Hatua zinazofuata
- Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
- Benchmark chini ya mzigo halisi na hali ya data.
- Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
- Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the KServe and Model Serving on Kubernetes quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
KServe na Model Serving ni nini kwenye Kubernetes?
KServe ni jukwaa sanifu, la asili la Kubernetes la kutoa mifano ya kujifunza kwa mashine kwa kiwango. Huzipa timu njia moja, ya kubainisha ya kupeleka miundo yenye kuongeza kiotomatiki, uchapishaji wa canary, na kiwango hadi sifuri, ikiondoa sehemu kubwa ya mabomba ya Kubernetes.
Jina la awali la KServe lilikuwa lipi kabla ya kuwa mradi wa kujitegemea?
KServe ilitoka kama KFSserving ndani ya mradi wa Kubeflow kabla ya kuwa jukwaa huru.
Ni rasilimali gani ya msingi ya Kubernetes unayofafanua ili kupeleka kielelezo na KServe?
Unatangaza nyenzo maalum ya InferenceService, kwa kawaida katika YAML, ili kupeleka na kusanidi muundo unaotolewa.
Je, ni uwezo gani huruhusu miundo ya KServe isiyo na kitu kutumia hesabu ya sifuri hadi ombi liwasili?
Imejengwa kwa Knative, KServe inaauni kiwango-hadi-sifuri, ikidondosha nakala hadi sifuri wakati hakuna trafiki na kuanza kwa baridi inapohitajika.
Je, ni mradi gani wa kimsingi ambao hutoa uwekaji otomatiki unaoendeshwa na ombi la KServe?
KServe hujengwa juu ya Huduma ya Knative, ambayo huweka nakala kulingana na upatanisho wa sarafu au kiwango cha ombi na kuwezesha kiwango hadi sifuri.
KServe kawaida hupata vipi vizalia vya kielelezo kwenye ganda la kuhudumia wakati wa kuanza?
Vianzilishi vya hifadhi hupakua vizalia vya miundo kutoka kwa hifadhi ya kitu (kama S3 au GCS) hadi kwenye ganda, vikitenganisha miundo kutoka kwa picha.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii