SelanjutnyaPanduan berikutnya
Core ML untuk Penerapan Apple di Perangkat
Teknis
PANDUAN Teknis
Inti Tensor
Tensor Cores adalah unit perangkat keras khusus di dalam GPU NVIDIA modern yang melakukan operasi penggandaan dan akumulasi matriks dengan sangat cepat.
Dengarkan panduan iniDiceritakan oleh AI · ~2 min
Di halaman ini2 menit membaca
Ikhtisar
Mereka adalah alasan utama mengapa satu GPU dapat melatih dan menjalankan jaringan saraf besar berkali-kali lebih cepat daripada komputasi serbaguna.
Menyelam Lebih Dalam
Diperkenalkan dengan arsitektur Volta pada tahun 2017, Tensor Cores adalah sirkuit khusus yang menghitung perkalian matriks kecil ditambah penjumlahan (D = A x B + C) dalam satu operasi, daripada melakukan perkalian satu per satu pada inti CUDA standar. Karena hampir setiap lapisan jaringan saraf direduksi menjadi perkalian matriks, hal ini sesuai dengan matematika yang sebenarnya dibutuhkan AI. Setiap generasi GPU memperluas apa yang mereka tangani: Volta membuat ubin 4x4 FP16, sementara arsitektur Ampere, Hopper, dan Blackwell yang lebih baru menambahkan format presisi lebih rendah seperti TF32, BF16, INT8, FP8, dan FP4. Presisi yang lebih rendah berarti lebih banyak angka yang diproses per jam, sehingga secara signifikan meningkatkan throughput untuk pelatihan dan inferensi sekaligus menjaga akurasi tetap dapat diterima.
Implementasi Dunia Nyata
Melatih model bahasa besar seperti transformator gaya GPT, tempat miliaran perkalian matriks per langkah dijalankan di Tensor Cores di BF16 atau FP8.
Menjalankan inferensi real-time untuk chatbot dan generator gambar, menggunakan kuantisasi INT8 atau FP8 untuk melayani lebih banyak pengguna per GPU.
Mempercepat NVIDIA DLSS dalam video game, di mana jaringan neural meningkatkan frame beresolusi lebih rendah menggunakan Tensor Cores di setiap frame.
Mempercepat komputasi ilmiah seperti pelipatan protein (AlphaFold) dan model cuaca yang telah diformulasi ulang sebagai beban kerja saraf dengan banyak matriks.
Masa Depan Inti Tensor
Tensor Cores terus bergerak menuju presisi yang semakin rendah: Hopper menambahkan FP8 dan Blackwell memperkenalkan FP4 4-bit dengan penskalaan yang dikelola perangkat keras, yang secara kasar menggandakan throughput setiap langkah untuk beban kerja inferensi yang berat. Harapkan dukungan yang lebih ketat untuk ketersebaran (melewatkan bobot nol), format penskalaan mikro yang melampirkan faktor skala ke blok angka kecil, dan integrasi lebih dalam dengan sistem memori sehingga inti tetap terisi. Seiring berkembangnya model, mesin matriks, bukan kecepatan clock mentah, tetap menjadi medan pertempuran utama untuk kinerja perangkat keras AI.
Mempraktikkannya
Mengapa itu penting
- Biaya dan anggaran. Keputusan arsitektur mendorong kinerja dan biaya pengoperasian selama bertahun-tahun.
- Keputusan yang lebih jelas. Pendidikan teknis membantu tim memilih tumpukan yang tepat, bukan hanya yang terbaru.
- Kontrol kualitas. Pilihan teknik yang lebih baik mengurangi insiden keandalan dalam produksi.
Hati-hati
- Mengoptimalkan satu tolok ukur dapat menyembunyikan kelemahan sistem yang lebih luas.
- Biaya infrastruktur dan pemeliharaan sering kali diremehkan.
- Kesenjangan keamanan dan kemampuan observasi dapat tumbuh seiring dengan semakin kompleksnya sistem.
Langkah selanjutnya
- Tentukan target latensi, kualitas, dan biaya sebelum penerapan.
- Tolok ukur dalam kondisi beban dan data yang realistis.
- Pemantauan instrumen untuk kesalahan, penyimpangan, dan dampak pengguna.
- Siapkan jalur rollback dan respons insiden sebelum melakukan penskalaan.
Terus Menjelajah
Buletin gratis
Dapatkan pengarahan AI harian
Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.
Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.
Uji diri Anda sendiri
Take the Tensor Cores quiz
Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.
Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan
Pertanyaan yang sering diajukan
Apa itu Inti Tensor?
Tensor Cores adalah unit perangkat keras khusus di dalam GPU NVIDIA modern yang melakukan operasi penggandaan dan akumulasi matriks dengan sangat cepat. Ini adalah alasan utama mengapa sebuah GPU dapat melatih dan menjalankan jaringan neural berukuran besar dengan kecepatan yang jauh lebih cepat dibandingkan komputasi tujuan umum.
Operasi matematika inti apa yang dirancang khusus untuk dipercepat oleh Tensor Cores?
Tensor Cores melakukan perkalian matriks gabungan ditambah akumulasi dalam satu langkah, yang merupakan operasi yang mendominasi lapisan jaringan saraf.
Arsitektur GPU NVIDIA manakah yang pertama kali memperkenalkan Tensor Cores?
Tensor Cores memulai debutnya dengan arsitektur Volta pada tahun 2017, dimulai dengan operasi matriks FP16 4x4.
Mengapa Tensor Cores sering kali menggunakan pengurangan presisi seperti FP16 atau FP8?
Menggunakan lebih sedikit bit per angka berarti lebih banyak nilai mengalir melalui perangkat keras setiap siklus, meningkatkan kecepatan secara signifikan hanya dengan sedikit kehilangan presisi, yang biasanya dapat ditoleransi.
Untuk menjaga akurasi, presisi apa yang biasanya digunakan Tensor Cores untuk jumlah berjalan (akumulasi)?
Input mungkin memiliki presisi rendah, namun akumulator biasanya berjalan dengan presisi lebih tinggi seperti FP32 untuk membatasi penumpukan kesalahan pembulatan.
Bagaimana kerangka AI sehari-hari seperti PyTorch memanfaatkan Tensor Cores?
Pustaka yang mendasari memecah operasi matriks besar menjadi petak berukuran Tensor-Core secara otomatis, sehingga kerangka kerja mendapatkan percepatan tanpa pengkodean manual.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini