Inti Tensor
Tensor Cores adalah unit perangkat keras khusus di dalam GPU NVIDIA modern yang melakukan operasi penggandaan dan akumulasi matriks dengan sangat cepat.
Ikhtisar
They are the main reason a single GPU can train and run large neural networks orders of magnitude faster than general-purpose compute would allow.
Menyelam Lebih Dalam
Diperkenalkan dengan arsitektur Volta pada tahun 2017, Tensor Cores adalah sirkuit khusus yang menghitung perkalian matriks kecil ditambah penjumlahan (D = A x B + C) dalam satu operasi, daripada melakukan perkalian satu per satu pada inti CUDA standar. Karena hampir setiap lapisan jaringan saraf direduksi menjadi perkalian matriks, hal ini sesuai dengan matematika yang sebenarnya dibutuhkan AI. Setiap generasi GPU memperluas apa yang mereka tangani: Volta membuat ubin 4x4 FP16, sementara arsitektur Ampere, Hopper, dan Blackwell yang lebih baru menambahkan format presisi lebih rendah seperti TF32, BF16, INT8, FP8, dan FP4. Presisi yang lebih rendah berarti lebih banyak angka yang diproses per jam, sehingga secara signifikan meningkatkan throughput untuk pelatihan dan inferensi sekaligus menjaga akurasi tetap dapat diterima.
Wawasan Teknis
Tensor Core mengalikan dua matriks kecil dan mengakumulasi hasilnya dalam satu langkah gabungan, memanfaatkan fakta bahwa nilai masukan yang sama digunakan kembali di banyak elemen keluaran. Biasanya membaca input dengan presisi yang lebih rendah (FP16, BF16, atau FP8) namun mengakumulasikan jumlah berjalan dengan presisi lebih tinggi (seringkali FP32) untuk membatasi kesalahan pembulatan. Pustaka perangkat lunak seperti cuBLAS dan cuDNN, serta kerangka kerja seperti PyTorch, memasukkan matriks besar ke dalam blok kecil ini secara otomatis sehingga model mendapatkan percepatan tanpa pengkodean manual.
Dampak Strategis
Cost and budget
Keputusan arsitektur mendorong kinerja dan biaya pengoperasian selama bertahun-tahun.
Clearer decisions
Pendidikan teknis membantu tim memilih tumpukan yang tepat, bukan hanya yang terbaru.
Quality control
Pilihan teknik yang lebih baik mengurangi insiden keandalan dalam produksi.
Masa Depan Inti Tensor
Tensor Cores terus bergerak menuju presisi yang semakin rendah: Hopper menambahkan FP8 dan Blackwell memperkenalkan FP4 4-bit dengan penskalaan yang dikelola perangkat keras, yang secara kasar menggandakan throughput setiap langkah untuk beban kerja inferensi yang berat. Harapkan dukungan yang lebih ketat untuk ketersebaran (melewatkan bobot nol), format penskalaan mikro yang melampirkan faktor skala ke blok angka kecil, dan integrasi lebih dalam dengan sistem memori sehingga inti tetap terisi. Seiring berkembangnya model, mesin matriks, bukan kecepatan clock mentah, tetap menjadi medan pertempuran utama untuk kinerja perangkat keras AI.
Implementasi Dunia Nyata
Melatih model bahasa besar seperti transformator gaya GPT, tempat miliaran perkalian matriks per langkah dijalankan di Tensor Cores di BF16 atau FP8.
Menjalankan inferensi real-time untuk chatbot dan generator gambar, menggunakan kuantisasi INT8 atau FP8 untuk melayani lebih banyak pengguna per GPU.
Mempercepat NVIDIA DLSS dalam video game, di mana jaringan neural meningkatkan frame beresolusi lebih rendah menggunakan Tensor Cores di setiap frame.
Mempercepat komputasi ilmiah seperti pelipatan protein (AlphaFold) dan model cuaca yang telah diformulasi ulang sebagai beban kerja saraf dengan banyak matriks.
Risiko & Pagar Pembatas
Mengoptimalkan satu tolok ukur dapat menyembunyikan kelemahan sistem yang lebih luas.
Biaya infrastruktur dan pemeliharaan sering kali diremehkan.
Kesenjangan keamanan dan kemampuan observasi dapat tumbuh seiring dengan semakin kompleksnya sistem.
Peta Jalan Implementasi
Tentukan target latensi, kualitas, dan biaya sebelum penerapan.
Tolok ukur dalam kondisi beban dan data yang realistis.
Pemantauan instrumen untuk kesalahan, penyimpangan, dan dampak pengguna.
Siapkan jalur rollback dan respons insiden sebelum melakukan penskalaan.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Tensor Cores quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Paralelisme Tensor untuk Model Besar
Pertanyaan yang sering diajukan
What is Tensor Cores?
Tensor Cores adalah unit perangkat keras khusus di dalam GPU NVIDIA modern yang melakukan operasi penggandaan dan akumulasi matriks dengan sangat cepat. Ini adalah alasan utama mengapa sebuah GPU dapat melatih dan menjalankan jaringan neural berukuran besar dengan kecepatan yang jauh lebih cepat dibandingkan komputasi tujuan umum.
Operasi matematika inti apa yang dirancang khusus untuk dipercepat oleh Tensor Cores?
Tensor Cores melakukan perkalian matriks gabungan ditambah akumulasi dalam satu langkah, yang merupakan operasi yang mendominasi lapisan jaringan saraf.
Arsitektur GPU NVIDIA manakah yang pertama kali memperkenalkan Tensor Cores?
Tensor Cores memulai debutnya dengan arsitektur Volta pada tahun 2017, dimulai dengan operasi matriks FP16 4x4.
Mengapa Tensor Cores sering kali menggunakan pengurangan presisi seperti FP16 atau FP8?
Menggunakan lebih sedikit bit per angka berarti lebih banyak nilai mengalir melalui perangkat keras setiap siklus, meningkatkan kecepatan secara signifikan hanya dengan sedikit kehilangan presisi, yang biasanya dapat ditoleransi.
Untuk menjaga akurasi, presisi apa yang biasanya digunakan Tensor Cores untuk jumlah berjalan (akumulasi)?
Input mungkin memiliki presisi rendah, namun akumulator biasanya berjalan dengan presisi lebih tinggi seperti FP32 untuk membatasi penumpukan kesalahan pembulatan.
Bagaimana kerangka AI sehari-hari seperti PyTorch memanfaatkan Tensor Cores?
Pustaka yang mendasari memecah operasi matriks besar menjadi petak berukuran Tensor-Core secara otomatis, sehingga kerangka kerja mendapatkan percepatan tanpa pengkodean manual.