DalšíDalší průvodce
Monitorování využití GPU pomocí nvidia-smi a DCGM
Technický
Technický PRŮVODCE
NVIDIA Container Toolkit konfiguruje běhová prostředí kontejnerů, takže kontejnery s podporou GPU mohou přistupovat k hostitelským zařízením NVIDIA a požadovaným rozhraním ovladačů.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Kontejner poskytuje své knihovny aplikací pro uživatelský prostor, zatímco hostitel poskytuje ovladač jádra, takže knihovny obrazů CUDA a nainstalované hostitelské ovladače musí být kompatibilní.
Kontejner GPU obsahuje softwarové závislosti, ale nevlastní fyzický GPU ani jeho ovladač jádra. V systému NVIDIA spravuje zařízení hostitelský ovladač. Sada NVIDIA Container Toolkit poskytuje komponenty a integraci runtime, které zpřístupňují vybrané GPU a možnosti ovladačů kontejneru. Pro použití této integrace musí být nakonfigurován Docker nebo jiné podporované runtime a spuštění kontejneru musí vyžadovat přístup GPU. Obraz kontejneru CUDA může poskytovat knihovny CUDA v uživatelském prostoru potřebné pro aplikaci. Kompatibilita stále závisí na hostitelském ovladači splňujícím požadavky běhového prostředí CUDA a na sestavení rámce. Toto oddělení vysvětluje, proč může kontejner obsahovat běhové prostředí CUDA, přesto se nepodaří inicializovat GPU, když je hostitelský ovladač příliš starý, chybí integrace běhového prostředí nebo bylo odhaleno nesprávné zařízení. Aktualizace balíčků CUDA uvnitř obrazu není ekvivalentní aktualizaci ovladače hostitelského jádra. Odstraňování problémů by mělo ověřit každou vrstvu nezávisle: potvrdit, že hostitel rozpozná GPU a ovladač, potvrdit, že běhové prostředí kontejneru je nakonfigurováno s podporou NVIDIA, požádat o zamýšlený GPU při spuštění, ověřit viditelnost zařízení uvnitř kontejneru a spustit malou operaci. Viditelné zařízení nezaručuje, že zátěž může alokovat paměť nebo spustit každé jádro; otestujte skutečnou cestu aplikace. Příznaky a konfigurace runtime kontejneru se liší podle platformy a verze runtime, proto se řiďte aktuální dokumentací NVIDIA pro nastavení hostitele. Přístup GPU vytváří provozní a bezpečnostní aspekty. Omezte, která zařízení a funkce jsou vystaveny, používejte kompatibilní obrazy z důvěryhodných registrů a sledujte aktualizace ovladačů a sad nástrojů. Orchestrační systémy mohou plánovat GPU pomocí zásuvných modulů zařízení a deklarací zdrojů. Zaznamenejte přehled obrázků, hostitelský ovladač, verzi sady nástrojů a konfiguraci běhového prostředí, abyste reprodukovali selhání. Sada nástrojů přemosťuje kontejnerové aplikace s hostitelskými zařízeními; nevirtualizuje GPU do plně nezávislého hardwarového prostředí ani neodstraňuje požadavky na kompatibilitu framework-driver.
Operátor nainstaluje sadu NVIDIA Container Toolkit na hostitele Linux a nakonfiguruje Docker s běhovým prostředím NVIDIA a poté spustí obraz CUDA s povoleným přístupem GPU.
Kontejner obsahuje běhovou knihovnu CUDA, ale spoléhá na hostitelský ovladač jádra NVIDIA. Instalace knihovny GPU do kontejneru nenainstaluje ani nenahradí hostitelský ovladač.
Nasazení používá základní obraz CUDA a kontroluje nvidia-smi nebo dotaz na zařízení frameworku uvnitř kontejneru s podporou GPU, aby ověřila viditelnost, zatímco samostatně testuje skutečné jádro.
Tým připne jak obrázek kontejneru, tak konfiguraci běhového prostředí a zaznamená verze hostitelských ovladačů, takže problém lze diagnostikovat napříč hranicí kontejneru a hostitele.
Operace kontejnerů GPU se snáze udržují, když záznamy nasazení spojují přehledy obrázků s verzemi hostitelského ovladače a sady nástrojů a kontroly stavu provádějí skutečnou práci GPU. Před aktualizací základních bitových kopií nebo ovladačů by týmy měly automatizovat testy kompatibility a omezit vystavená zařízení na potřeby pracovní zátěže. Operátoři klastrů mohou plánování jasnější pomocí explicitních požadavků na zdroje GPU a monitorování zásuvných modulů zařízení. Jak se běhová prostředí vyvíjejí, použijte pro podrobnosti o konfiguraci aktuální instalační příručku NVIDIA. Kontejnery zlepšují konzistenci softwaru, zatímco přístup GPU stále závisí na zásobníku ovladačů hostitele a integraci runtime.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
NVIDIA Container Toolkit konfiguruje běhová prostředí kontejnerů, takže kontejnery s podporou GPU mohou přistupovat k hostitelským zařízením NVIDIA a požadovaným rozhraním ovladačů. Kontejner poskytuje své knihovny aplikací pro uživatelský prostor, zatímco hostitel poskytuje ovladač jádra, takže knihovny obrazů CUDA a nainstalované hostitelské ovladače musí být kompatibilní.
Ovladač hostitele NVIDIA a součásti jádra spravují zařízení; kontejner k nim přistupuje prostřednictvím integrace za běhu.
Sada nástrojů konfiguruje podporovaná běhová prostředí kontejnerů, aby zpřístupnila GPU a možnosti ovladačů.
Knihovny uživatelského prostoru nenahrazují kompatibilní hostitelský ovladač a správně nakonfigurované runtime.
Viditelnost je užitečná kontrola, ale reprezentativní rámec a operace jádra stále vyžadují testování.
Knihovny kontejnerů jsou komponenty uživatelského prostoru; hostitelský ovladač spravuje rozhraní jádra zařízení.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Monitorování využití GPU pomocí nvidia-smi a DCGM
Technický