Als nächstesNächster Leitfaden
Core ML für die Bereitstellung auf dem Gerät Apple
Technisch
Technischer Leitfaden
Tensorkerne sind spezialisierte Hardwareeinheiten in modernen NVIDIA-GPUs, die Matrixmultiplikations- und -akkumulationsoperationen extrem schnell ausführen.
Hören Sie sich diesen Leitfaden anKI-erzählt · ~2 min
They are the main reason a single GPU can train and run large neural networks orders of magnitude faster than general-purpose compute would allow.
Tensorkerne wurden 2017 mit der Volta-Architektur eingeführt und sind dedizierte Schaltkreise, die eine kleine Matrixmultiplikation plus eine Addition (D = A x B + C) in einem einzigen Vorgang berechnen, anstatt jede Multiplikation einzeln auf Standard-CUDA-Kernen durchzuführen. Da praktisch jede Schicht eines neuronalen Netzwerks auf Matrixmultiplikationen reduziert wird, entspricht dies den mathematischen Anforderungen, die die KI tatsächlich benötigt. Jede GPU-Generation erweiterte ihre Handhabung: Volta erstellte 4x4 FP16-Kacheln, während spätere Ampere-, Hopper- und Blackwell-Architekturen Formate mit geringerer Genauigkeit wie TF32, BF16, INT8, FP8 und FP4 hinzufügten. Eine geringere Präzision bedeutet, dass mehr Zahlen pro Takt verarbeitet werden, was den Durchsatz für Training und Inferenz erheblich steigert und gleichzeitig die Genauigkeit akzeptabel hält.
Training großer Sprachmodelle wie Transformatoren im GPT-Stil, bei denen Milliarden von Matrixmultiplikationen pro Schritt auf Tensorkernen in BF16 oder FP8 ausgeführt werden.
Ausführen von Echtzeitinferenzen für Chatbots und Bildgeneratoren unter Verwendung der INT8- oder FP8-Quantisierung, um mehr Benutzer pro GPU zu bedienen.
Beschleunigung von NVIDIA DLSS in Videospielen, bei denen ein neuronales Netzwerk Frames mit niedrigerer Auflösung mithilfe von Tensorkernen für jeden Frame hochskaliert.
Beschleunigung wissenschaftlicher Berechnungen wie Proteinfaltung (AlphaFold) und Wettermodelle, die als Matrix-lastige neuronale Arbeitslasten umformuliert wurden.
Tensor-Kerne bewegen sich immer weiter in Richtung einer immer geringeren Präzision: Hopper fügte FP8 hinzu und Blackwell führte 4-Bit-FP4 mit hardwareverwalteter Skalierung ein, wodurch der Durchsatz bei jedem Schritt für inferenzintensive Arbeitslasten ungefähr verdoppelt wurde. Erwarten Sie eine stärkere Unterstützung für Sparsity (Überspringen von Nullgewichten), Mikroskalierungsformate, die Skalierungsfaktoren an kleine Zahlenblöcke anhängen, und eine tiefere Integration mit Speichersystemen, damit die Kerne weiterhin versorgt bleiben. Wenn die Modelle wachsen, bleibt die Matrix-Engine und nicht die reine Taktrate das zentrale Schlachtfeld für die Leistung der KI-Hardware.
Kostenloser Newsletter
Drei verifizierte KI-Geschichten jeden Werktagmorgen, in einfachem Englisch geschrieben. Für immer kostenlos, keine Werbung.
Eine E‑Mail jeden Werktag. Abmelden mit einem Klick. Wir verkaufen oder teilen Ihre Adresse nie.
Testen Sie sich selbst
Sofortiges Feedback zu jeder Antwort und ein teilbares Zertifikat mit verifizierbarer ID, sobald Sie einen Kurs bestanden haben.
Unterstützen Sie kostenlose KI-Bildung. AI Understanding ist eine 501(c)(3) gemeinnützige Organisation – keine Werbung, keine Paywall, nie. Machen Sie eine Spende
Tensorkerne sind spezialisierte Hardwareeinheiten in modernen NVIDIA-GPUs, die Matrixmultiplikations- und -akkumulationsoperationen extrem schnell ausführen. Sie sind der Hauptgrund dafür, dass eine einzelne GPU große neuronale Netze um Größenordnungen schneller trainieren und ausführen kann, als es mit allgemeiner Rechenleistung möglich wäre.
Tensorkerne führen eine Fusionsmatrixmultiplikation plus Akkumulation in einem Schritt durch, was genau die Operation ist, die die Schichten neuronaler Netzwerke dominiert.
Tensor Cores debütierten 2017 mit der Volta-Architektur, beginnend mit FP16 4x4-Matrixoperationen.
Die Verwendung von weniger Bits pro Zahl bedeutet, dass in jedem Zyklus mehr Werte durch die Hardware fließen, was die Geschwindigkeit erheblich steigert und nur einen geringen, normalerweise tolerierbaren Präzisionsverlust mit sich bringt.
Eingaben können eine geringe Genauigkeit aufweisen, aber der Akkumulator läuft normalerweise mit höherer Präzision wie FP32, um die Entstehung von Rundungsfehlern zu begrenzen.
Die zugrunde liegenden Bibliotheken unterteilen große Matrixoperationen automatisch in Kacheln in Tensor-Core-Größe, sodass Frameworks ohne manuelle Codierung schneller werden.
Lerne weiter
Weitere Leitfäden zu diesem Thema ausgewählt
Als nächstesNächster Leitfaden
Core ML für die Bereitstellung auf dem Gerät Apple
Technisch