LegközelebbKövetkező útmutató
Autoscaling Model Inference on Kubernetes
Műszaki
Műszaki ÚTMUTATÓ
A KServe egy szabványosított, Kubernetes-natív platform a gépi tanulási modellek széles körű kiszolgálására.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Egyetlen, deklaratív módot ad a csapatoknak az automatikus skálázással, a kanári kiterjesztéssel és a nullára skálázással rendelkező modellek üzembe helyezésére, elvonatkoztatva a Kubernetes vízvezetékrendszerének nagy részét.
A korábban KFServing néven ismert és a Kubeflow projektből származó KServe egy InferenceService egyéni erőforrást határoz meg. Ír egy rövid YAML-fájlt, amely egy objektumtárolóban tárolt modellre mutat (S3, GCS, Azure Blob), és a KServe kezeli a többit. Támogatja a prediktív következtetést és egyre inkább a generatív LLM kiszolgálást. A KServe előre beépített „kiszolgálási futásidőket” szállít a közös keretrendszerekhez (TensorFlow Serving, TorchServe, Triton, scikit-learn, XGBoost, Hugging Face), és támogatja az egyéni konténereket. A Knative Serving és egy hálózati réteg (Istio vagy hasonló) tetejére építve kérésvezérelt automatikus skálázást biztosít, beleértve a valódi nullára skálázást, így a tétlen modellek nem igényelnek számítást. Ezenkívül szabványosítja az előrejelzési API-t az Open Inference Protocol körül, így az ügyfelek minden modellel ugyanúgy beszélnek, függetlenül a keretrendszertől.
Egy bank egy 10 soros InferenceService YAML-t ír be a hitelminősítési modellbe, amely a modellre mutat S3-ban, és a KServe kezeli az automatikus skálázást és a belépést.
Egy e-kereskedelmi csapat a KServe Canary bevezetését használja, hogy a forgalom 10 százalékát egy új ajánlási modellre irányítsa, majd amint a mutatók egészségesnek tűnnek, 100 százalékra gyorsul.
Egy kutatólaboratórium több tucat ritkán használt modellt szolgál ki nulláig skálázva, így mindegyik modell csak akkor pörög fel, amikor megérkezik a kérés, és nem fogyaszt GPU-t üresjáratban.
Egy MLOps csapat egy KServe transzformátor komponenst használ a kép átméretezésének és normalizálásának futtatására, mielőtt a prediktor egy Triton által kiszolgált látásmodellt futtatna.
A KServe gyorsan fejlődik a generatív mesterséges intelligencia irányába, és hozzáad egy LLM-központú sávot olyan funkciókkal, mint a KV-gyorsítótár-tudatos útválasztás, a modell gyorsítótárazás, valamint a nagy nyelvi modellek bontott előtöltési/dekódolási szolgáltatása. Mélyebb integrációra számíthat az olyan következtetési motorokkal, mint a vLLM, jobb többcsomópontos kiszolgálás az egy GPU-hoz túl nagy modelleknél, és átjárószintű útválasztás a token alapú terheléselosztáshoz. CNCF-inkubáló projektként ez válik de facto nyílt szabványává a modellek Kubernetes mögé helyezésének, csökkentve a szakadékot a kutatási műtermékek és a rugalmas gyártási végpontok között.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A KServe egy szabványosított, Kubernetes-natív platform a gépi tanulási modellek széles körű kiszolgálására. Egyetlen, deklaratív módot ad a csapatoknak az automatikus skálázással, a kanári kiterjesztéssel és a nullára skálázással rendelkező modellek üzembe helyezésére, így a Kubernetes vízvezetékek nagy részét elvonatkoztatják.
A KServe KFServing néven indult a Kubeflow projekten belül, mielőtt független platformmá vált.
A kiszolgált modell üzembe helyezéséhez és konfigurálásához deklarál egy InferenceService egyéni erőforrást, jellemzően YAML-ben.
A Knative-re épített KServe támogatja a nullára méretezést, nullára ejti a replikákat, ha nincs forgalom, és igény szerint hidegindítást.
A KServe a Knative Servingre épül, amely párhuzamosság vagy kérési arány alapján skálázza a replikákat, és lehetővé teszi a nullára skálázást.
A tárolás inicializálói letöltik a modell melléktermékeit az objektumtárolóból (például S3 vagy GCS) a podba, leválasztva a modelleket a képről.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Autoscaling Model Inference on Kubernetes
Műszaki