Kubernetes fun ML Workloads
Kubernetes jẹ eto orisun-ìmọ ti o ṣeto laifọwọyi, awọn iwọn, ati tun bẹrẹ awọn eto ti a fi sinu apoti kọja iṣupọ awọn ero.
Akopọ
For machine learning, it lets teams pack GPU-hungry training jobs and latency-sensitive model servers onto shared hardware without babysitting individual servers.
Jin Dive
Ni akọkọ ti a ṣe ni Google lati mu awọn iṣẹ wẹẹbu ṣiṣẹ, Kubernetes ṣe itọju iṣupọ rẹ bi adagun nla kan ti Sipiyu, iranti, ati awọn GPUs, lẹhinna pinnu iru ẹrọ ti o nṣiṣẹ ni eiyan kọọkan. Awọn ẹgbẹ ML gbekele rẹ nitori awọn ẹru iṣẹ jẹ ti nwaye ati gbowolori: ṣiṣe ikẹkọ le nilo awọn GPU mẹjọ fun wakati mẹfa, lẹhinna ko si nkankan. Awọn iṣeto Kubernetes ti o gbe sori ipade kan pẹlu awọn GPU ọfẹ, ati nigbati iṣẹ naa ba pari o ṣe ominira ohun elo naa. O tun tọju awọn olupin ifọkansi laaye, tun bẹrẹ awọn apoti ti o kọlu ati ti ntan awọn ẹda kọja awọn ẹrọ fun isọdọtun. Awọn irinṣẹ ti a ṣe lori oke, bii Kubeflow, Ray, ati KServe, ṣafikun awọn ege pato-ML gẹgẹbi awọn oniṣẹ ikẹkọ pinpin, tuning hyperparameter, ati awọn ipari awoṣe autoscaling, nitorinaa awọn onimọ-jinlẹ data ṣiṣẹ pẹlu awọn abstractions ipele giga dipo YAML aise.
Imọ-imọ-ẹrọ
Kubernetes ṣe ipinnu awọn GPU nipasẹ awọn afikun ẹrọ ti o polowo awọn orisun bii nvidia.com/gpu, eyiti oluṣeto ṣe ibaamu awọn ibeere podu kan. Taints ati tolerations pa poku Sipiyu ise pa pricey GPU apa, nigba ti ipade selectors ati ijora ofin pin ikẹkọ to kan pato hardware. Fun ikẹkọ pupọ-GPU, awọn oniṣẹ ṣẹda ẹgbẹ kan ti awọn adarọ-ese ti o ṣe awari ara wọn ati ṣiṣe awọn ilana bii PyTorch DDP tabi Horovod, paarọ awọn gradients lori nẹtiwọọki iṣupọ nipa lilo NCCL.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ọjọ iwaju ti Kubernetes fun Awọn iṣẹ iṣẹ ML
Reti isọpọ ML ti o ni wiwọ: ṣiṣe eto onijagidijagan ti o ṣe ifilọlẹ gbogbo awọn adarọ-ese ikẹkọ ti o pin ni ẹẹkan tabi rara rara, ipin ati pipin akoko-akoko GPU pinpin nitorinaa awọn iṣẹ ina lọpọlọpọ pin kaadi kan, ati ibi-itọju topology-mọ ti o bọwọ fun awọn isopọ NVLink iyara. Itọkasi olupin lori Kubernetes, awọn aaye ipari igbelosoke si odo laarin awọn ibeere, n dagba. Gẹgẹbi alafẹfẹ awoṣe, awọn oluṣeto npọ si ipoidojuko kọja ọpọlọpọ awọn iṣupọ ati awọn awọsanma, ati awọn eto pinpin ododo ti o da lori bi Kueue ati Volcano ti n di idiwọn fun ṣiṣakoso agbara GPU ti o ṣọwọn.
Real-World imuse
Laabu iwadii kan nlo Oluṣeto Ikẹkọ Kubeflow lati ṣe ifilọlẹ iṣẹ ikẹkọ pinpin-pipin 32-GPU PyTorch kọja awọn apa mẹrin, lẹhinna da awọn GPU laaye laifọwọyi nigbati o ba papọ.
Ile-iṣẹ e-commerce kan ṣe iranṣẹ awoṣe iṣeduro rẹ pẹlu KServe, eyiti o ṣe adaṣe awọn ẹda-ara lakoko titaja filasi ati sẹhin ni alẹ kan.
Ile-ifowopamọ kan n ṣiṣẹ awọn iṣẹ igbelewọn ni alẹ bi Kubernetes CronJobs, ti wọn laini wọn lori awọn apa Sipiyu apoju ki wọn ko dije pẹlu ijabọ iṣẹ ọsan.
Ibẹrẹ kan nlo Ray lori Kubernetes lati ṣiṣẹ awọn gbigba hyperparameter ti o jọra, yiyi awọn dosinni ti awọn adarọ-ese igba diẹ lori awọn iṣẹlẹ iranran lati ge idiyele.
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Kubernetes for ML Workloads quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Idanwo A/B fun Awọn awoṣe ML
Awọn ibeere ti a beere nigbagbogbo
What is Kubernetes for ML Workloads?
Kubernetes jẹ eto orisun-ìmọ ti o ṣeto laifọwọyi, awọn iwọn, ati tun bẹrẹ awọn eto ti a fi sinu apoti kọja iṣupọ awọn ero. Fun ẹkọ ẹrọ, o jẹ ki awọn ẹgbẹ kojọpọ awọn iṣẹ ikẹkọ ti ebi npa GPU ati awọn olupin awoṣe ifarabalẹ pẹlẹpẹlẹ si ohun elo ti o pin laisi abojuto awọn olupin kọọkan.
Kini iṣẹ akọkọ ti oluṣeto Kubernetes fun awọn iṣẹ ṣiṣe ML?
Oluṣeto ṣe ibaamu awọn ibeere orisun podu (CPU, iranti, GPUs) lodi si awọn apa ti o wa ati gbe podu nibiti o baamu. Ko fi ọwọ kan koodu awoṣe tabi data.
Bawo ni Kubernetes ṣe deede jẹ ki awọn GPU wa si adarọ-ese kan?
Awọn afikun ẹrọ ṣe afihan awọn GPU bi orisun iṣeto (fun apẹẹrẹ, nvidia.com/gpu), jẹ ki awọn adarọ-ese beere wọn ati wiwa orin iṣeto.
Kini awọn taints ati awọn ifarada ti o wọpọ fun ni iṣupọ ML kan?
A taint repels pods lati kan ipade; awọn podu nikan pẹlu ifarada ti o baamu le de sibẹ. Eyi ṣe ifipamọ awọn apa GPU ti o ṣọwọn fun awọn iṣẹ ti o nilo awọn GPU gaan.
Ọpa wo ni o ṣafikun awọn agbara pato-ML bi awọn oniṣẹ ikẹkọ pinpin lori oke Kubernetes?
Kubeflow fẹlẹfẹlẹ ML ṣiṣan iṣẹ ṣiṣe sori Kubernetes, pẹlu awọn oniṣẹ ikẹkọ, awọn opo gigun ti epo, ati tuning, nitorinaa awọn ẹgbẹ yago fun kikọ-kikọ kekere ipele iṣupọ konfigi.
Kini idi ti Kubernetes ṣe deede si awọn ẹru iṣẹ ML ti nwaye?
Ikẹkọ jẹ spiky: ọpọlọpọ awọn GPUs ni ṣoki, lẹhinna ko si. Kubernetes gbe iṣẹ naa nigbati awọn orisun ba ni ọfẹ ati tu wọn silẹ ni ipari, imudara iṣamulo.