Mai departeUrmătorul ghid
Autoscaling Model Inference on Kubernetes
Tehnic
GHID tehnic
KServe și Model Serving pe Kubernetes
KServe este o platformă standardizată, nativă Kubernetes, pentru a servi modele de învățare automată la scară.
Ascultă acest ghidNarativ AI · ~2 min
Pe această pagină2 minute de lectură
Prezentare generală
Oferă echipelor o modalitate unică și declarativă de a implementa modele cu scalare automată, lansări canare și scalare la zero, eliminând majoritatea instalațiilor Kubernetes.
Scufundare în profunzime
Cunoscut anterior ca KFServing și născut din proiectul Kubeflow, KServe definește o resursă personalizată InferenceService. Scrieți un fișier YAML scurt care indică un model stocat în stocarea obiectelor (S3, GCS, Azure Blob), iar KServe se ocupă de restul. Acceptă atât inferența predictivă, cât și, din ce în ce mai mult, difuzarea LLM generativă. KServe livrează „timpuri de execuție” predefinite pentru cadre obișnuite (TensorFlow Serving, TorchServe, Triton, scikit-learn, XGBoost, Hugging Face) și acceptă containere personalizate. Construit pe Knative Serving și un strat de rețea (Istio sau similar), oferă scalare automată bazată pe solicitare, inclusiv scalare reală la zero, astfel încât modelele inactive nu consumă calcul. De asemenea, standardizează API-ul de predicție în jurul protocolului Open Inference, astfel încât clienții vorbesc cu fiecare model în același mod, indiferent de cadru.
Implementare în lumea reală
O bancă implementează un model de punctare a creditului prin scrierea unui InferenceService YAML cu 10 rânduri care indică modelul în S3, cu KServe gestionând scalarea automată și intrarea.
O echipă de comerț electronic folosește lansările KServe Canary pentru a trimite 10% din trafic către un nou model de recomandare, apoi crește la 100% odată ce valorile par sănătoase.
Un laborator de cercetare deservește zeci de modele rar utilizate cu scalare la zero, astfel încât fiecare model se învârte doar când sosește o solicitare și nu consumă GPU în timp ce este inactiv.
O echipă MLOps folosește o componentă de transformare KServe pentru a rula redimensionarea și normalizarea imaginii înainte ca predictorul să ruleze un model de viziune deservit de Triton.
Viitorul KServe și Model Serving pe Kubernetes
KServe evoluează rapid către IA generativă, adăugând o pistă axată pe LLM, cu funcții precum rutarea KV-cache-aware, cacheul modelului și servirea dezagregată de precompletare/decodare pentru modele de limbi mari. Așteptați-vă la o integrare mai profundă cu motoare de inferență precum vLLM, o mai bună servire multi-nod pentru modele prea mari pentru un singur GPU și rutare la nivel de gateway pentru echilibrarea încărcării bazată pe token. Ca proiect de incubare CNCF, acesta devine standardul deschis de facto pentru plasarea modelelor în spatele Kubernetes, reducând decalajul dintre artefactele de cercetare și punctele finale de producție rezistente.
Punând-o în practică
De ce contează
- Cost și buget. Deciziile de arhitectură generează performanța și costurile de operare de ani de zile.
- Decizii mai clare. Educația tehnică ajută echipele să aleagă stiva potrivită, nu doar cea mai nouă.
- Controlul calității. Opțiuni de inginerie mai bune reduc incidentele de fiabilitate în producție.
Atenție la
- Optimizarea unui punct de referință poate ascunde slăbiciunile mai largi ale sistemului.
- Costurile de infrastructură și întreținere sunt adesea subestimate.
- Lacunele de securitate și observabilitate pot crește pe măsură ce sistemele devin mai complexe.
Următorii pași
- Definiți obiectivele de latență, calitate și cost înainte de implementare.
- Benchmark în condiții realiste de încărcare și date.
- Monitorizarea instrumentelor pentru erori, deriva și impactul utilizatorului.
- Pregătiți căile de retragere și răspuns la incident înainte de scalare.
Continuați să explorați
Buletin gratuit
Primește briefingul zilnic AI
Trei povești AI verificate în fiecare dimineață de zi lucrătoare, scrise în engleză simplă. Gratuit pentru totdeauna, fără reclame.
Un e-mail în fiecare zi lucrătoare. Dezabonare cu un singur clic. Nu vindem niciodată și nu împărtășim adresa ta.
Testează-te
Take the KServe and Model Serving on Kubernetes quiz
Feedback instantaneu la fiecare răspuns și un certificat partajabil cu un ID verificabil după ce parcurgi un curs.
Susține educația AI gratuită. AI Understanding este o organizație nonprofit 501(c)(3) — fără reclame, fără barieră de plată, pentru totdeauna. Fă o donație
Întrebări frecvente
Ce este KServe și Model Serving pe Kubernetes?
KServe este o platformă standardizată, nativă Kubernetes, pentru a servi modele de învățare automată la scară. Oferă echipelor o modalitate unică și declarativă de a implementa modele cu scalare automată, lansări canary și scalare la zero, eliminând cea mai mare parte a instalațiilor Kubernetes.
Care era numele anterior al KServe înainte de a deveni un proiect independent?
KServe a apărut ca KFServing în cadrul proiectului Kubeflow înainte de a deveni o platformă independentă.
Care este resursa personalizată Kubernetes principală pe care o definiți pentru a implementa un model cu KServe?
Declarați o resursă personalizată InferenceService, de obicei în YAML, pentru a implementa și configura un model deservit.
Ce capacitate permite modelelor KServe inactive să consume zero calcul până când sosește o solicitare?
Construit pe Knative, KServe acceptă scalare la zero, scăzând replicile la zero atunci când nu există trafic și pornire la rece la cerere.
Ce proiect de bază oferă scalarea automată bazată pe cereri a KServe?
KServe se bazează pe Knative Serving, care scalează replicile pe baza concurenței sau a ratei de solicitare și permite scalarea la zero.
Cum introduce KServe de obicei artefacte de model într-un pod de servire la pornire?
Inițializatoarele de stocare descarcă artefacte model din stocarea obiectelor (cum ar fi S3 sau GCS) în pod, decuplând modelele de imagine.
Continuați să învățați
Ghiduri conexe
Mai multe ghiduri alese pentru acest subiect