Nuclei tensoriali
I Tensor Core sono unità hardware specializzate all'interno delle moderne GPU NVIDIA che eseguono operazioni di moltiplicazione e accumulo delle matrici in modo estremamente veloce.
Panoramica
They are the main reason a single GPU can train and run large neural networks orders of magnitude faster than general-purpose compute would allow.
Immersione profonda
Introdotti con l'architettura Volta nel 2017, i Tensor Core sono circuiti dedicati che calcolano una piccola moltiplicazione di matrice più un'addizione (D = A x B + C) in un'unica operazione, anziché eseguire ciascuna moltiplicazione una alla volta sui core CUDA standard. Poiché praticamente ogni strato di una rete neurale si riduce a moltiplicazioni di matrici, ciò corrisponde alla matematica di cui l’intelligenza artificiale ha effettivamente bisogno. Ogni generazione di GPU ha ampliato ciò che gestisce: Volta ha realizzato riquadri 4x4 FP16, mentre successivamente le architetture Ampere, Hopper e Blackwell hanno aggiunto formati a precisione inferiore come TF32, BF16, INT8, FP8 e FP4. Una precisione inferiore significa più numeri elaborati per orologio, aumentando notevolmente la produttività per l'addestramento e l'inferenza mantenendo al contempo una precisione accettabile.
Approfondimento tecnico
Un Tensor Core moltiplica due piccole matrici e accumula il risultato in un unico passaggio fuso, sfruttando il fatto che gli stessi valori di input vengono riutilizzati su molti elementi di output. In genere legge gli input con una precisione ridotta (FP16, BF16 o FP8) ma accumula la somma parziale con una precisione maggiore (spesso FP32) per limitare l'errore di arrotondamento. Le librerie software come cuBLAS e cuDNN e i framework come PyTorch affiancano automaticamente matrici di grandi dimensioni in questi piccoli blocchi in modo che i modelli ottengano una maggiore velocità senza codifica manuale.
Impatto strategico
Costo e budget
Le decisioni relative all'architettura determinano prestazioni e costi operativi per anni.
Decisioni più chiare
La formazione tecnica aiuta i team a scegliere lo stack giusto, non solo quello più nuovo.
Controllo di qualità
Migliori scelte ingegneristiche riducono gli incidenti legati all’affidabilità nella produzione.
Il futuro dei nuclei tensoriali
I Tensor Core continuano a muoversi verso una precisione sempre più bassa: Hopper ha aggiunto FP8 e Blackwell ha introdotto FP4 a 4 bit con scalabilità gestita dall'hardware, raddoppiando all'incirca il throughput a ogni passaggio per carichi di lavoro pesanti in termini di inferenza. Aspettatevi un supporto più rigoroso per la scarsità (saltando i pesi zero), formati di microscaling che associano fattori di scala a piccoli blocchi di numeri e un'integrazione più profonda con i sistemi di memoria in modo che i core rimangano alimentati. Man mano che i modelli crescono, il motore a matrice, e non la velocità di clock, rimane il campo di battaglia centrale per le prestazioni dell'hardware AI.
Implementazione nel mondo reale
Addestramento di modelli linguistici di grandi dimensioni come trasformatori in stile GPT, in cui miliardi di moltiplicazioni di matrici per passaggio vengono eseguite su Tensor Core in BF16 o FP8.
Esecuzione di inferenza in tempo reale per chatbot e generatori di immagini, utilizzando la quantizzazione INT8 o FP8 per servire più utenti per GPU.
Accelerazione del DLSS NVIDIA nei videogiochi, in cui una rete neurale esegue l'upscaling dei frame a risoluzione inferiore utilizzando Tensor Core per ogni frame.
Accelerare il calcolo scientifico come il ripiegamento delle proteine (AlphaFold) e i modelli meteorologici che sono stati riformulati come carichi di lavoro neurali a matrice pesante.
Rischi e guardrail
L'ottimizzazione di un benchmark può nascondere debolezze di sistema più ampie.
I costi delle infrastrutture e della manutenzione sono spesso sottostimati.
Le lacune in termini di sicurezza e osservabilità possono aumentare man mano che i sistemi diventano più complessi.
Tabella di marcia per l'implementazione
Definire obiettivi di latenza, qualità e costi prima dell'implementazione.
Benchmark in condizioni di carico e dati realistiche.
Monitoraggio dello strumento per errori, deriva e impatto sull'utente.
Preparare percorsi di rollback e risposta agli incidenti prima della scalabilità.
Continua a esplorare
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Tensor Cores quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Prossima guida
Parallelismo tensoriale per modelli di grandi dimensioni
Domande frequenti
What is Tensor Cores?
I Tensor Core sono unità hardware specializzate all'interno delle moderne GPU NVIDIA che eseguono operazioni di moltiplicazione e accumulo delle matrici in modo estremamente veloce. Sono il motivo principale per cui una singola GPU può addestrare ed eseguire reti neurali di grandi dimensioni più velocemente di quanto consentirebbero i calcoli generici.
Quali operazioni matematiche fondamentali sono specificamente progettate per accelerare i Tensor Core?
I Tensor Core eseguono una moltiplicazione della matrice fusa più un accumulo in un unico passaggio, che è esattamente l'operazione che domina gli strati della rete neurale.
Quale architettura GPU NVIDIA ha introdotto per prima i Tensor Core?
Tensor Core ha debuttato con l'architettura Volta nel 2017, a partire dalle operazioni con matrice 4x4 FP16.
Perché i Tensor Core utilizzano spesso una precisione ridotta come FP16 o FP8?
Usare meno bit per numero significa che più valori fluiscono attraverso l'hardware ad ogni ciclo, aumentando notevolmente la velocità con solo una piccola, solitamente tollerabile, perdita di precisione.
Per preservare l'accuratezza, quale precisione utilizzano tipicamente i Tensor Core per la somma parziale (accumulo)?
Gli input possono avere una precisione bassa, ma l'accumulatore solitamente funziona con una precisione più elevata come FP32 per limitare l'accumulo di errori di arrotondamento.
In che modo i framework di intelligenza artificiale quotidiana come PyTorch utilizzano i Tensor Core?
Le librerie sottostanti suddividono automaticamente le operazioni di matrice di grandi dimensioni in riquadri di dimensioni Tensor-Core, in modo che i framework ottengano maggiore velocità senza codifica manuale.