Il prossimoProssima guida
Monitoraggio dell'utilizzo GPU con nvidia-smi e DCGM
Tecnico
GUIDA TECNICA
NVIDIA Container Toolkit configura i runtime dei contenitori in modo che i contenitori abilitati per GPU possano accedere ai dispositivi host NVIDIA e alle interfacce dei driver richieste.
Ascolta questa guidaNarrato dall'IA · ~3 min
Il contenitore fornisce le librerie delle applicazioni nello spazio utente, mentre l'host fornisce il driver del kernel, quindi le librerie CUDA delle immagini e i driver host installati devono essere compatibili.
Un contenitore GPU racchiude le dipendenze software ma non possiede la GPU fisica o il relativo driver del kernel. Su un sistema NVIDIA, il driver host gestisce il dispositivo. Il NVIDIA Container Toolkit fornisce componenti e integrazione runtime che espongono GPU e funzionalità driver selezionate a un container. Docker o un altro runtime supportato deve essere configurato per utilizzare tale integrazione e il lancio del contenitore deve richiedere l'accesso alla GPU. Un'immagine del contenitore CUDA può fornire le librerie CUDA dello spazio utente necessarie all'applicazione. La compatibilità dipende ancora dal fatto che il driver host soddisfi i requisiti del runtime CUDA e dalla build del framework. Questa separazione spiega perché un contenitore può includere un runtime CUDA ma non riuscire a inizializzare la GPU quando il driver host è troppo vecchio, manca l'integrazione del runtime o è stato esposto il dispositivo sbagliato. L'aggiornamento dei pacchetti CUDA all'interno dell'immagine non equivale all'aggiornamento del driver del kernel host. La risoluzione dei problemi dovrebbe verificare ogni livello in modo indipendente: verificare che l'host riconosca la GPU e il driver, verificare che il runtime del contenitore sia configurato con il supporto NVIDIA, richiedere la GPU prevista all'avvio, verificare la visibilità del dispositivo all'interno del contenitore ed eseguire una piccola operazione del framework. Un dispositivo visibile non garantisce che un carico di lavoro possa allocare memoria o avviare ogni kernel; testare il percorso effettivo dell'applicazione. I flag e la configurazione del runtime del contenitore differiscono in base alla piattaforma e alla versione del runtime, quindi segui la documentazione NVIDIA corrente per la configurazione dell'host. L'accesso alla GPU crea considerazioni operative e di sicurezza. Limita i dispositivi e le funzionalità esposti, utilizza immagini compatibili provenienti da registri attendibili e monitora gli aggiornamenti di driver e toolkit. I sistemi di orchestrazione possono pianificare le GPU utilizzando plug-in del dispositivo e dichiarazioni di risorse. Registra il digest dell'immagine, il driver host, la versione del toolkit e la configurazione runtime per riprodurre gli errori. Il toolkit collega le applicazioni container con i dispositivi host; non virtualizza la GPU in un ambiente hardware completamente indipendente né rimuove i requisiti di compatibilità del framework-driver.
Un operatore installa NVIDIA Container Toolkit su un host Linux e configura Docker con il runtime NVIDIA, quindi avvia un'immagine CUDA con l'accesso GPU abilitato.
Un contenitore include una libreria runtime CUDA ma si basa sul driver del kernel NVIDIA dell'host. L'installazione di una libreria GPU nel contenitore non installa né sostituisce il driver host.
Una distribuzione utilizza un'immagine di base CUDA e controlla nvidia-smi o una query del dispositivo framework all'interno di un contenitore abilitato per GPU per verificare la visibilità, testando separatamente un kernel effettivo.
Un team blocca sia l'immagine del contenitore che la configurazione di runtime e registra le versioni dei driver host, in modo che un problema possa essere diagnosticato oltre il confine contenitore-host.
Le operazioni del contenitore GPU sono più facili da gestire quando i record di distribuzione legano i digest di immagini alle versioni di driver e toolkit host e i controlli di integrità esercitano il vero lavoro della GPU. I team dovrebbero automatizzare i test di compatibilità prima di aggiornare le immagini di base o i driver e limitare i dispositivi esposti alle esigenze del carico di lavoro. Gli operatori del cluster possono rendere la pianificazione più chiara con richieste esplicite di risorse GPU e monitoraggio dei plug-in dei dispositivi. Man mano che i runtime si evolvono, utilizza la guida di installazione corrente di NVIDIA per i dettagli di configurazione. I contenitori migliorano la coerenza del software mentre l'accesso alla GPU dipende ancora dallo stack di driver dell'host e dall'integrazione del runtime.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
NVIDIA Container Toolkit configura i runtime dei contenitori in modo che i contenitori abilitati per GPU possano accedere ai dispositivi host NVIDIA e alle interfacce dei driver richieste. Il contenitore fornisce le librerie delle applicazioni nello spazio utente, mentre l'host fornisce il driver del kernel, quindi le librerie CUDA delle immagini e i driver host installati devono essere compatibili.
Il driver NVIDIA dell'host e i componenti del kernel gestiscono il dispositivo; il contenitore vi accede tramite l'integrazione runtime.
Il toolkit configura i runtime del contenitore supportati per rendere accessibili le GPU e le funzionalità dei driver.
Le librerie dello spazio utente non sostituiscono un driver host compatibile e un runtime configurato correttamente.
La visibilità è un controllo utile, ma il framework rappresentativo e le operazioni del kernel necessitano ancora di test.
Le librerie contenitori sono componenti dello spazio utente; il driver host gestisce l'interfaccia del kernel del dispositivo.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Monitoraggio dell'utilizzo GPU con nvidia-smi e DCGM
Tecnico