VolgendeVolgende gids
Cloudkostenoptimalisatie voor ML-workloads
Technisch
Technische GIDS
Kubernetes is een open-sourcesysteem dat gecontaineriseerde programma's automatisch plant, schaalt en opnieuw start op een cluster van machines.
Luister naar deze gidsAI-verteld · ~2 min
For machine learning, it lets teams pack GPU-hungry training jobs and latency-sensitive model servers onto shared hardware without babysitting individual servers.
Oorspronkelijk gebouwd op Google om webservices uit te voeren, behandelt Kubernetes uw cluster als één grote pool van CPU, geheugen en GPU's en beslist vervolgens op welke machine elke container draait. ML-teams vertrouwen erop omdat de werklast hoog en duur is: voor een trainingsrun zijn mogelijk acht GPU's nodig voor zes uur, en dan niets. Kubernetes plant die pod op een knooppunt met vrije GPU's, en wanneer de taak is voltooid, wordt de hardware vrijgegeven. Het houdt ook inferentieservers in leven, herstart gecrashte containers en verspreidt replica's over machines voor veerkracht. Daarbovenop gebouwde tools, zoals Kubeflow, Ray en KServe, voegen ML-specifieke onderdelen toe, zoals gedistribueerde trainingoperators, afstemming van hyperparameters en autoscaling-modeleindpunten, zodat datawetenschappers met abstracties op een hoger niveau werken in plaats van met onbewerkte YAML.
Een onderzoekslaboratorium gebruikt de Kubeflow Training Operator om een PyTorch-trainingstaak met 32 GPU's over vier knooppunten te lanceren, en maakt vervolgens automatisch de GPU's vrij wanneer deze convergeren.
Een e-commercebedrijf bedient zijn aanbevelingsmodel met KServe, dat replica's automatisch opschaalt tijdens een flash-uitverkoop en 's nachts weer terugzet.
Een bank voert nachtelijke batch-scoringstaken uit als Kubernetes CronJobs, en zet deze in de wachtrij op reserve CPU-nodes, zodat ze niet concurreren met het verkeer overdag.
Een startup gebruikt Ray op Kubernetes om parallelle hyperparameter-sweeps uit te voeren, waarbij tientallen kortstondige proefpods ter plekke worden opgestart om de kosten te verlagen.
Teams can combine queue admission, suitable GPU resource exposure, and topology-aware placement with their ML workload controllers. Group admission helps avoid partial worker allocation, while model servers may support scale-to-zero with an appropriate serving configuration. These behaviors depend on installed components and settings. Operators should test recovery, resource limits, interconnects, and cold-start latency rather than assume the container orchestrator alone supplies every training or serving feature.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Kubernetes is een open-sourcesysteem dat gecontaineriseerde programma's automatisch plant, schaalt en opnieuw start op een cluster van machines. Voor machine learning kunnen teams GPU-hongerige trainingstaken en latentiegevoelige modelservers op gedeelde hardware verpakken zonder op individuele servers te hoeven letten.
De planner vergelijkt de resourceverzoeken van een pod (CPU, geheugen, GPU's) met beschikbare knooppunten en plaatst de pod waar deze past. Het raakt de modelcode of gegevens niet aan.
Apparaatplug-ins stellen GPU's bloot als een planbare bron (bijvoorbeeld nvidia.com/gpu), waardoor pods deze kunnen opvragen en de planner de beschikbaarheid kan volgen.
A toleration removes the matching taint barrier. Other resource and scheduling requirements still apply.
Kubeflow voegt ML-workflows toe aan Kubernetes, inclusief het trainen van operators, pipelines en tuning, zodat teams geen handgeschreven clusterconfiguraties op laag niveau hoeven te schrijven.
De training is stekelig: kortstondig veel GPU's, daarna geen. Kubernetes plaatst de taak wanneer de resources vrij zijn en geeft deze vrij zodra deze zijn voltooid, waardoor de benutting wordt verbeterd.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Cloudkostenoptimalisatie voor ML-workloads
Technisch