DalšíDalší průvodce
Cloud Cost Optimization for ML Workloads
Technický
Technický PRŮVODCE
Kubernetes je systém s otevřeným zdrojovým kódem, který automaticky plánuje, škáluje a restartuje kontejnerizované programy na clusteru počítačů.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Pro strojové učení umožňuje týmům zabalit školicí úlohy náročné na GPU a modelové servery citlivé na latenci na sdílený hardware bez hlídání jednotlivých serverů.
Kubernetes, původně postavený na Google pro spouštění webových služeb, zachází s vaším clusterem jako s jedním velkým fondem CPU, paměti a GPU a poté rozhodne, na kterém počítači bude každý kontejner spuštěn. Týmy ML se o to opírají, protože pracovní zátěž je překotná a drahá: tréninkový běh může potřebovat osm GPU na šest hodin, pak nic. Kubernetes naplánuje tento modul na uzel s volnými GPU a po dokončení úlohy uvolní hardware. Také udržuje inferenční servery při životě, restartuje zhroucené kontejnery a šíří repliky mezi počítače pro zajištění odolnosti. Nástroje postavené na vrcholu, jako je Kubeflow, Ray a KServe, přidávají součásti specifické pro ML, jako jsou operátory distribuovaného školení, ladění hyperparametrů a koncové body modelu automatického škálování, takže vědci s daty pracují s abstrakcemi vyšší úrovně namísto nezpracovaného YAML.
Výzkumná laboratoř používá Kubeflow Training Operator ke spuštění úlohy distribuovaného školení PyTorch s 32 GPU napříč čtyřmi uzly a poté automaticky uvolní GPU, když se sblíží.
Společnost elektronického obchodu poskytuje svůj model doporučení pomocí KServe, který automaticky zvětšuje repliky nahoru během bleskového prodeje a přes noc zpět dolů.
Banka spouští noční úlohy s dávkovým hodnocením jako Kubernetes CronJobs a řadí je do fronty na náhradních CPU uzlech, takže nekonkurují dennímu provozu.
Startup využívá Ray na Kubernetes ke spouštění paralelních hyperparametrových rozmítání, čímž se spouští desítky krátkodobých zkušebních modulů na spotových instancích, aby se snížily náklady.
Teams can combine queue admission, suitable GPU resource exposure, and topology-aware placement with their ML workload controllers. Group admission helps avoid partial worker allocation, while model servers may support scale-to-zero with an appropriate serving configuration. These behaviors depend on installed components and settings. Operators should test recovery, resource limits, interconnects, and cold-start latency rather than assume the container orchestrator alone supplies every training or serving feature.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Kubernetes je systém s otevřeným zdrojovým kódem, který automaticky plánuje, škáluje a restartuje kontejnerizované programy na clusteru počítačů. Pro strojové učení umožňuje týmům zabalit školicí úlohy náročné na GPU a modelové servery citlivé na latenci na sdílený hardware bez hlídání jednotlivých serverů.
Plánovač porovnává požadavky na prostředky modulu (CPU, paměť, GPU) s dostupnými uzly a umístí modul tam, kam se hodí. Nedotýká se kódu modelu ani dat.
Pluginy zařízení vystavují GPU jako plánovatelný zdroj (např. nvidia.com/gpu), umožňují modulům, aby si je vyžádaly, a plánovač sleduje dostupnost.
A toleration removes the matching taint barrier. Other resource and scheduling requirements still apply.
Kubeflow vrství pracovní postupy ML na Kubernetes, včetně školení operátorů, kanálů a ladění, takže týmy se vyhýbají ručnímu psaní nízkoúrovňové konfigurace clusteru.
Trénink je ostrý: spousta GPU krátce, pak žádná. Kubernetes umístí úlohu, když jsou zdroje volné, a po dokončení je uvolní, čímž se zlepší využití.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Cloud Cost Optimization for ML Workloads
Technický