LegközelebbKövetkező útmutató
GPU-kihasználtság figyelése az nvidia-smi és a DCGM segítségével
Műszaki
Műszaki ÚTMUTATÓ
A NVIDIA Container Toolkit úgy konfigurálja a tárolók futási idejét, hogy a GPU-képes tárolók hozzáférhessenek a gazdag NVIDIA eszközökhöz és a szükséges illesztőprogram-interfészekhez.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
A tároló biztosítja a felhasználói terület alkalmazáskönyvtárait, míg a gazdagép biztosítja a kernel-illesztőprogramot, így a képfájl CUDA-könyvtáraknak és a telepített gazdagép-illesztőprogramoknak kompatibilisnek kell lenniük.
A GPU-tároló szoftverfüggőségeket csomagol, de nem birtokolja a fizikai GPU-t vagy annak kernel-illesztőprogramját. NVIDIA rendszeren a gazdagép illesztőprogramja kezeli az eszközt. A NVIDIA Container Toolkit olyan összetevőket és futásidejű integrációt biztosít, amelyek a kiválasztott GPU-kat és az illesztőprogram-képességeket egy tárolónak teszik ki. A Dockert vagy egy másik támogatott futtatókörnyezetet be kell állítani az integráció használatára, és a tároló indításához GPU-hozzáférést kell kérni. A CUDA-tárolókép az alkalmazás számára szükséges felhasználói terület CUDA-könyvtárakat biztosíthat. A kompatibilitás továbbra is a CUDA futtatókörnyezet követelményeinek megfelelő gazdagép-illesztőprogramtól és a keretrendszer felépítésétől függ. Ez a szétválasztás megmagyarázza, hogy egy tároló miért tartalmazhat CUDA-futási környezetet, mégsem tudja inicializálni a GPU-t, ha a gazdagép-illesztőprogram túl régi, a futásidejű integráció hiányzik, vagy rossz eszköz került nyilvánosságra. A képen belüli CUDA-csomagok frissítése nem egyenlő a gazdagép kernel-illesztőprogramjának frissítésével. A hibaelhárítás során minden réteget külön kell ellenőrizni: ellenőrizze, hogy a gazdagép felismeri-e a GPU-t és az illesztőprogramot, ellenőrizze, hogy a tároló futtatókörnyezete NVIDIA támogatással van konfigurálva, kérje le a tervezett GPU-t indításkor, ellenőrizze az eszköz láthatóságát a tárolón belül, és futtasson egy kis keretműveletet. A látható eszköz nem garantálja, hogy a munkaterhelés képes lefoglalni a memóriát vagy elindítani minden kernelt; tesztelje a tényleges alkalmazási útvonalat. A tároló futásidejű jelzői és konfigurációja platformonként és futásidejű verziónként különbözik, ezért kövesse a jelenlegi NVIDIA dokumentációt a gazdagép beállításához. A GPU-hozzáférés működési és biztonsági szempontokat teremt. Korlátozza, hogy mely eszközök és képességek jelenjenek meg, használjon kompatibilis képeket a megbízható nyilvántartásokból, és figyelje az illesztőprogram- és eszközkészlet-frissítéseket. A hangszerelési rendszerek ütemezhetik a GPU-kat eszközbővítmények és erőforrás-deklarációk segítségével. Rögzítse a képkivonatot, a gazdagép-illesztőprogramot, az eszközkészlet verzióját és a futásidejű konfigurációt a hibák reprodukálásához. Az eszközkészlet áthidalja a konténer alkalmazásokat a gazdagépekkel; nem virtualizálja a GPU-t teljesen független hardverkörnyezetbe, és nem távolítja el a keret-illesztőprogram-kompatibilitási követelményeket.
Az operátor telepíti a NVIDIA Container Toolkit-et egy Linux-gazdagépen, és konfigurálja a Dockert a NVIDIA futási környezettel, majd elindít egy CUDA-képet a GPU-hozzáféréssel.
Egy tároló tartalmaz egy CUDA futásidejű könyvtárat, de a gazdagép NVIDIA kernel-illesztőprogramjára támaszkodik. A GPU-könyvtár telepítése a tárolóba nem telepíti vagy cseréli le a gazdagép-illesztőprogramot.
A központi telepítés egy CUDA alaplemezképet használ, és ellenőrzi az nvidia-smi-t vagy a keretrendszer-eszköz lekérdezését egy GPU-képes tárolóban a láthatóság ellenőrzésére, miközben külön teszteli a tényleges kernelt.
Egy csapat rögzíti mind a tárolóképet, mind a futásidejű konfigurációt, és rögzíti a gazdagép-illesztőprogram-verziókat, így a probléma a tároló-gazdagép határán keresztül is diagnosztizálható.
A GPU-tárolóműveletek könnyebben karbantarthatók, ha a telepítési rekordok képkivonatokat kötnek a gazdagép-illesztőprogram- és eszközkészlet-verziókhoz, az állapotellenőrzések pedig valódi GPU-munkát végeznek. A csapatoknak automatizálniuk kell a kompatibilitási teszteket, mielőtt frissítenék az alapképeket vagy az illesztőprogramokat, és korlátozniuk kell a kitett eszközöket a munkaterhelés igényeihez. A fürtoperátorok egyértelműbbé tehetik az ütemezést az explicit GPU-erőforrás-kérésekkel és az eszköz-bővítmények figyelésével. Ahogy a futási idők fejlődnek, használja a jelenlegi NVIDIA telepítési útmutatót a konfigurációs részletekért. A tárolók javítják a szoftverek konzisztenciáját, míg a GPU-hozzáférés továbbra is a gazdagép illesztőprogram-veremétől és a futásidejű integrációtól függ.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A NVIDIA Container Toolkit úgy konfigurálja a tárolók futási idejét, hogy a GPU-képes tárolók hozzáférhessenek a gazdag NVIDIA eszközökhöz és a szükséges illesztőprogram-interfészekhez. A tároló biztosítja a felhasználói terület alkalmazáskönyvtárait, míg a gazdagép biztosítja a kernel-illesztőprogramot, így a képfájl CUDA-könyvtáraknak és a telepített gazdagép-illesztőprogramoknak kompatibilisnek kell lenniük.
A gazdagép NVIDIA illesztőprogramja és kernelkomponensei kezelik az eszközt; a tároló futásidejű integráción keresztül éri el őket.
Az eszközkészlet konfigurálja a támogatott konténer-futási időket, hogy elérhetővé tegye a GPU-kat és az illesztőprogram-képességeket.
A felhasználói terület könyvtárai nem helyettesítik a kompatibilis gazdagép-illesztőprogramot és a megfelelően konfigurált futási környezetet.
A láthatóság hasznos ellenőrzés, de a reprezentatív keretrendszer és a kernelműveletek még tesztelésre szorulnak.
A konténerkönyvtárak felhasználói tér összetevői; a gazdagép illesztőprogramja kezeli az eszköz kernel felületét.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
GPU-kihasználtság figyelése az nvidia-smi és a DCGM segítségével
Műszaki