LegközelebbKövetkező útmutató
Felhőköltség-optimalizálás ML-munkaterhelésekhez
Műszaki
Műszaki ÚTMUTATÓ
A Kubernetes egy nyílt forráskódú rendszer, amely automatikusan ütemezi, méretezi és újraindítja a konténeres programokat egy gépcsoporton keresztül.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
A gépi tanuláshoz lehetővé teszi a csapatok számára, hogy a GPU-ra éhes képzési feladatokat és a késleltetésre érzékeny modellszervereket megosztott hardverekre pakolják anélkül, hogy az egyes szervereket felügyelnék.
Eredetileg a Google webszolgáltatások futtatására készült Kubernetes a fürtöt egyetlen nagy CPU-, memória- és GPU-készletként kezeli, majd eldönti, hogy az egyes konténereket melyik gép futtatja. Az ML-csapatok támaszkodnak rá, mert a munkaterhelés nagy és drága: egy edzéshez nyolc GPU kell hat órán keresztül, aztán semmi. A Kubernetes egy ingyenes GPU-val rendelkező csomópontra ütemezi a posztert, és amikor a feladat befejeződik, felszabadítja a hardvert. Emellett életben tartja a következtetési szervereket, újraindítja a lefagyott tárolókat, és a replikákat szétteríti a gépeken a rugalmasság érdekében. A felülre épített eszközök, mint például a Kubeflow, a Ray és a KServe, ML-specifikus darabokat adnak hozzá, például elosztott képzési operátorokat, hiperparaméter-hangolást és automatikus skálázási modellvégpontokat, így az adattudósok magasabb szintű absztrakciókkal dolgoznak a nyers YAML helyett.
Egy kutatólaboratórium a Kubeflow Training Operator segítségével elindít egy 32 GPU-s PyTorch elosztott képzési feladatot négy csomópont között, majd automatikusan felszabadítja a GPU-kat, amikor konvergálnak.
Egy e-kereskedelmi vállalat az ajánlási modelljét a KServe-vel szolgálja ki, amely automatikusan felskálázza a replikákat egy gyorskiárusítás során, majd egyik napról a másikra visszaállítja.
Egy bank éjszakai kötegelt pontozási feladatokat végez Kubernetes CronJobs néven, és sorba állítja őket a tartalék CPU csomópontokon, hogy ne versenyezzenek a nappali kiszolgálási forgalommal.
Egy startup a Ray on Kubernetes segítségével párhuzamos hiperparaméter-sweepeket futtat, és több tucat rövid élettartamú próbapadot forgat fel a helyszíni példányokon a költségek csökkentése érdekében.
Teams can combine queue admission, suitable GPU resource exposure, and topology-aware placement with their ML workload controllers. Group admission helps avoid partial worker allocation, while model servers may support scale-to-zero with an appropriate serving configuration. These behaviors depend on installed components and settings. Operators should test recovery, resource limits, interconnects, and cold-start latency rather than assume the container orchestrator alone supplies every training or serving feature.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Kubernetes egy nyílt forráskódú rendszer, amely automatikusan ütemezi, méretezi és újraindítja a konténeres programokat egy gépcsoporton keresztül. A gépi tanuláshoz lehetővé teszi a csapatok számára, hogy a GPU-ra éhes képzési feladatokat és a késleltetésre érzékeny modellszervereket a megosztott hardverre pakolják anélkül, hogy az egyes szerverekre vigyáznának.
Az ütemező egyezteti a pod erőforráskéréseit (CPU, memória, GPU-k) az elérhető csomópontokkal, és elhelyezi a pod-ot, ahol elfér. Nem érinti a modellkódot vagy az adatokat.
Az eszközbővítmények a GPU-kat ütemezhető erőforrásként teszik elérhetővé (pl. nvidia.com/gpu), lehetővé téve a pod-ok számára, hogy kérjék őket, és az ütemező nyomon kövesse az elérhetőséget.
A toleration removes the matching taint barrier. Other resource and scheduling requirements still apply.
A Kubeflow az ML munkafolyamatokat a Kubernetesre rétegeli, beleértve az operátorok képzését, a folyamatokat és a hangolást, így a csapatok elkerülik az alacsony szintű fürtkonfiguráció kézi írását.
A képzés tüskés: sok GPU röviden, aztán egy sem. A Kubernetes akkor helyezi el a munkát, amikor az erőforrások felszabadulnak, és a befejezés után felszabadítja őket, javítva a kihasználtságot.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Felhőköltség-optimalizálás ML-munkaterhelésekhez
Műszaki