Il prossimoProssima guida
Core ML per la distribuzione Apple su dispositivo
Tecnico
GUIDA TECNICA
I Tensor Core sono unità hardware specializzate all'interno delle moderne GPU NVIDIA che eseguono operazioni di moltiplicazione e accumulo delle matrici in modo estremamente veloce.
Ascolta questa guidaNarrato dall'IA · ~2 min
They are the main reason a single GPU can train and run large neural networks orders of magnitude faster than general-purpose compute would allow.
Introdotti con l'architettura Volta nel 2017, i Tensor Core sono circuiti dedicati che calcolano una piccola moltiplicazione di matrice più un'addizione (D = A x B + C) in un'unica operazione, anziché eseguire ciascuna moltiplicazione una alla volta sui core CUDA standard. Poiché praticamente ogni strato di una rete neurale si riduce a moltiplicazioni di matrici, ciò corrisponde alla matematica di cui l’intelligenza artificiale ha effettivamente bisogno. Ogni generazione di GPU ha ampliato ciò che gestisce: Volta ha realizzato riquadri 4x4 FP16, mentre successivamente le architetture Ampere, Hopper e Blackwell hanno aggiunto formati a precisione inferiore come TF32, BF16, INT8, FP8 e FP4. Una precisione inferiore significa più numeri elaborati per orologio, aumentando notevolmente la produttività per l'addestramento e l'inferenza mantenendo al contempo una precisione accettabile.
Addestramento di modelli linguistici di grandi dimensioni come trasformatori in stile GPT, in cui miliardi di moltiplicazioni di matrici per passaggio vengono eseguite su Tensor Core in BF16 o FP8.
Esecuzione di inferenza in tempo reale per chatbot e generatori di immagini, utilizzando la quantizzazione INT8 o FP8 per servire più utenti per GPU.
Accelerazione del DLSS NVIDIA nei videogiochi, in cui una rete neurale esegue l'upscaling dei frame a risoluzione inferiore utilizzando Tensor Core per ogni frame.
Accelerare il calcolo scientifico come il ripiegamento delle proteine (AlphaFold) e i modelli meteorologici che sono stati riformulati come carichi di lavoro neurali a matrice pesante.
I Tensor Core continuano a muoversi verso una precisione sempre più bassa: Hopper ha aggiunto FP8 e Blackwell ha introdotto FP4 a 4 bit con scalabilità gestita dall'hardware, raddoppiando all'incirca il throughput a ogni passaggio per carichi di lavoro pesanti in termini di inferenza. Aspettatevi un supporto più rigoroso per la scarsità (saltando i pesi zero), formati di microscaling che associano fattori di scala a piccoli blocchi di numeri e un'integrazione più profonda con i sistemi di memoria in modo che i core rimangano alimentati. Man mano che i modelli crescono, il motore a matrice, e non la velocità di clock, rimane il campo di battaglia centrale per le prestazioni dell'hardware AI.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
I Tensor Core sono unità hardware specializzate all'interno delle moderne GPU NVIDIA che eseguono operazioni di moltiplicazione e accumulo delle matrici in modo estremamente veloce. Sono il motivo principale per cui una singola GPU può addestrare ed eseguire reti neurali di grandi dimensioni più velocemente di quanto consentirebbero i calcoli generici.
I Tensor Core eseguono una moltiplicazione della matrice fusa più un accumulo in un unico passaggio, che è esattamente l'operazione che domina gli strati della rete neurale.
Tensor Core ha debuttato con l'architettura Volta nel 2017, a partire dalle operazioni con matrice 4x4 FP16.
Usare meno bit per numero significa che più valori fluiscono attraverso l'hardware ad ogni ciclo, aumentando notevolmente la velocità con solo una piccola, solitamente tollerabile, perdita di precisione.
Gli input possono avere una precisione bassa, ma l'accumulatore solitamente funziona con una precisione più elevata come FP32 per limitare l'accumulo di errori di arrotondamento.
Le librerie sottostanti suddividono automaticamente le operazioni di matrice di grandi dimensioni in riquadri di dimensioni Tensor-Core, in modo che i framework ottengano maggiore velocità senza codifica manuale.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Core ML per la distribuzione Apple su dispositivo
Tecnico