DalšíDalší průvodce
Autoscaling Model Inference on Kubernetes
Technický
Technický PRŮVODCE
KServe je standardizovaná, nativní platforma Kubernetes pro poskytování modelů strojového učení ve velkém měřítku.
Poslechněte si tento návodAI-vyprávěný · ~2 min
It gives teams a single, declarative way to deploy models with autoscaling, canary rollouts, and scale-to-zero, abstracting away most of the Kubernetes plumbing.
KServe, dříve známý jako KFServing a zrozený z projektu Kubeflow, definuje vlastní zdroj InferenceService. Napíšete krátký soubor YAML ukazující na model uložený v úložišti objektů (S3, GCS, Azure Blob) a KServe se postará o zbytek. Podporuje jak prediktivní vyvozování, tak stále více generativní poskytování LLM. KServe dodává předpřipravené „obslužné běhy“ pro běžné rámce (TensorFlow Serving, TorchServe, Triton, scikit-learn, XGBoost, Hugging Face) a podporuje vlastní kontejnery. Je postaven na Knative Serving a síťové vrstvě (Istio nebo podobná) a poskytuje automatické škálování na základě požadavků včetně skutečného škálování na nulu, takže nečinné modely nespotřebovávají žádné výpočty. Také standardizuje predikční API kolem protokolu Open Inference, takže klienti mluví s každým modelem stejným způsobem bez ohledu na rámec.
Banka nasazuje model hodnocení úvěrů napsáním 10řádkového InferenceService YAML ukazujícího na model v S3, přičemž KServe zpracovává automatické škálování a ingress.
Tým elektronického obchodu používá zavedení KServe canary k odeslání 10 procent provozu na nový model doporučení a poté, co metriky vypadají dobře, se zvýší na 100 procent.
Výzkumná laboratoř slouží desítkám zřídka používaných modelů s měřítkem na nulu, takže každý model se roztočí pouze tehdy, když přijde požadavek a během nečinnosti nespotřebovává žádný GPU.
Tým MLOps používá komponent transformátoru KServe ke spuštění změny velikosti a normalizace obrazu předtím, než prediktor spustí model vidění servírovaný Tritonem.
KServe se rychle vyvíjí směrem ke generativní AI a přidává stopu zaměřenou na LLM s funkcemi, jako je směrování s podporou KV-cache, mezipaměť modelu a rozčleněné předvyplnění/dekódování pro velké jazykové modely. Očekávejte hlubší integraci s inferenčními enginy, jako je vLLM, lepší víceuzlové poskytování pro modely příliš velké pro jeden GPU a směrování na úrovni brány pro vyrovnávání zátěže na základě tokenů. Jako projekt inkubující CNCF se stává de facto otevřeným standardem pro vkládání modelů za Kubernetes, čímž se zužuje propast mezi výzkumnými artefakty a odolnými produkčními koncovými body.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
KServe je standardizovaná, nativní platforma Kubernetes pro poskytování modelů strojového učení ve velkém měřítku. Poskytuje týmům jediný, deklarativní způsob, jak nasadit modely s automatickým škálováním, zavedením canary a škálováním na nulu, čímž se odstraní většina potrubí Kubernetes.
KServe vznikl jako KFServing v rámci projektu Kubeflow, než se stal nezávislou platformou.
Pro nasazení a konfiguraci obsluhovaného modelu deklarujete vlastní prostředek InferenceService, obvykle v YAML.
KServe, postavený na Knative, podporuje škálování na nulu, spouštění replik na nulu, když není provoz, a studené starty na vyžádání.
KServe staví na Knative Serving, které škáluje repliky na základě souběžnosti nebo rychlosti požadavků a umožňuje škálování na nulu.
Inicializátory úložiště stahují artefakty modelu z úložiště objektů (jako S3 nebo GCS) do modulu a oddělují modely od obrazu.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Autoscaling Model Inference on Kubernetes
Technický