SıradakiSonraki rehber
Cihaz Üzerinde Apple Dağıtım için Core ML
Teknik
Teknik KILAVUZ
Tensör Çekirdekleri
Tensör Çekirdekleri, modern NVIDIA GPU'ların içindeki, matris çoğaltma ve biriktirme işlemlerini son derece hızlı gerçekleştiren özel donanım birimleridir.
Bu kılavuzu dinleyinAI tarafından anlatılan · ~2 min
Bu sayfada2 dakika okuma
Genel Bakış
They are the main reason a single GPU can train and run large neural networks orders of magnitude faster than general-purpose compute would allow.
Derin Dalış
2017 yılında Volta mimarisiyle tanıtılan Tensör Çekirdekleri, standart CUDA çekirdeklerinde her çarpmayı teker teker yapmak yerine, küçük bir matris çarpımını artı bir toplamayı (D = A x B + C) tek bir işlemde hesaplayan özel devrelerdir. Bir sinir ağının hemen hemen her katmanı matris çarpımlarına indirgendiğinden, bu, yapay zekanın gerçekte ihtiyaç duyduğu matematikle eşleşir. Her GPU nesli, ele aldıkları şeyi genişletti: Volta 4x4 FP16 döşemeleri yaparken daha sonra Ampere, Hopper ve Blackwell mimarileri TF32, BF16, INT8, FP8 ve FP4 gibi daha düşük hassasiyetli formatlar ekledi. Daha düşük hassasiyet, saat başına daha fazla sayının işlenmesi anlamına gelir; bu da eğitim ve çıkarım için verimi önemli ölçüde artırırken doğruluğu kabul edilebilir düzeyde tutar.
Gerçek Dünya Uygulaması
Adım başına milyarlarca matris çarpımının BF16 veya FP8'deki Tensör Çekirdeklerinde çalıştırıldığı GPT tarzı transformatörler gibi büyük dil modellerinin eğitimi.
GPU başına daha fazla kullanıcıya hizmet vermek için INT8 veya FP8 nicelemesini kullanarak sohbet robotları ve görüntü oluşturucular için gerçek zamanlı çıkarım çalıştırma.
Sinir ağının her karede Tensör Çekirdekleri kullanarak düşük çözünürlüklü kareleri yükselttiği video oyunlarında NVIDIA DLSS'yi hızlandırma.
Protein katlama (AlphaFold) ve matris ağırlıklı sinirsel iş yükleri olarak yeniden formüle edilen hava durumu modelleri gibi bilimsel hesaplamaların hızlandırılması.
Tensör Çekirdeklerinin Geleceği
Tensör Çekirdekleri her zamankinden daha düşük hassasiyete doğru ilerlemeye devam ediyor: Hopper FP8'i ekledi ve Blackwell donanım yönetimli ölçeklendirmeye sahip 4 bit FP4'ü piyasaya sürerek çıkarım açısından ağır iş yükleri için her adımda verimi kabaca iki katına çıkardı. Seyreklik (sıfır ağırlıkların atlanması), ölçek faktörlerini küçük sayı bloklarına ekleyen mikro ölçeklendirme formatları ve çekirdeklerin beslenmeye devam etmesi için bellek sistemleriyle daha derin entegrasyon için daha sıkı destek bekleyin. Modeller büyüdükçe yapay zeka donanım performansı için ana savaş alanı ham saat hızı değil, matris motoru olmaya devam ediyor.
Uygulamaya koymak
Neden önemli?
- Maliyet ve bütçe. Mimari kararlar yıllarca performansı ve işletme maliyetini etkiler.
- Daha net kararlar. Teknik eğitim, ekiplerin yalnızca en yenisini değil, doğru yığını seçmesine de yardımcı olur.
- Kalite kontrolü. Daha iyi mühendislik seçenekleri, üretimdeki güvenilirlik olaylarını azaltır.
Dikkat edin
- Bir kıyaslamayı optimize etmek daha geniş sistem zayıflıklarını gizleyebilir.
- Altyapı ve bakım maliyetleri genellikle hafife alınır.
- Sistemler karmaşıklaştıkça güvenlik ve gözlemlenebilirlik boşlukları büyüyebilir.
Sonraki adımlar
- Uygulamadan önce gecikmeyi, kaliteyi ve maliyet hedeflerini tanımlayın.
- Gerçekçi yük ve veri koşulları altında kıyaslama yapın.
- Hatalar, sapmalar ve kullanıcı etkisi için cihaz izleme.
- Ölçeklendirmeden önce geri alma ve olay müdahale yollarını hazırlayın.
Keşfetmeye Devam Edin
Ücretsiz bülten
Günlük AI brifingini alın
Hafta içi her sabah sade İngilizce yazılmış, doğrulanmış üç yapay zeka hikayesi. Sonsuza kadar ücretsiz, reklam yok.
Hafta içi her gün bir e-posta. Tek tıklamayla aboneliğinizi iptal edin. Adresinizi asla satmayız veya paylaşmayız.
Kendinizi test edin
Take the Tensor Cores quiz
Her yanıtla ilgili anında geri bildirim ve bir kursu geçtiğinizde doğrulanabilir bir kimliğe sahip paylaşılabilir bir sertifika.
Ücretsiz AI eğitimini destekleyin. AI Understanding, bir 501(c)(3) kâr amacı gütmeyen kuruluştur; hiçbir zaman reklam yoktur, ödeme duvarı yoktur. Bağış yap
Sık sorulan sorular
What is Tensor Cores?
Tensör Çekirdekleri, modern NVIDIA GPU'ların içindeki, matris çoğaltma ve biriktirme işlemlerini son derece hızlı gerçekleştiren özel donanım birimleridir. Tek bir GPU'nun büyük sinir ağlarını genel amaçlı hesaplamanın izin verdiğinden daha hızlı eğitebilmesinin ve çalıştırabilmesinin ana nedeni bunlardır.
Tensör Çekirdekleri hangi temel matematiksel işlemi hızlandırmak için özel olarak tasarlanmıştır?
Tensör Çekirdekleri, birleştirilmiş matris çarpımı artı birikimini tek adımda gerçekleştirir; bu, tam olarak sinir ağı katmanlarına hakim olan işlemdir.
Tensör Çekirdeklerini ilk kez hangi NVIDIA GPU mimarisi tanıttı?
Tensor Çekirdekleri, FP16 4x4 matris işlemleriyle başlayarak 2017 yılında Volta mimarisiyle piyasaya çıktı.
Tensör Çekirdekleri neden sıklıkla FP16 veya FP8 gibi azaltılmış hassasiyeti kullanıyor?
Sayı başına daha az bit kullanılması, her döngüde donanımdan daha fazla değerin akması anlamına gelir; bu da yalnızca küçük, genellikle tolere edilebilir bir hassasiyet kaybıyla hızı büyük ölçüde artırır.
Doğruluğu korumak için Tensör Çekirdekleri genel olarak toplam (birikim) için hangi hassasiyeti kullanır?
Girişler düşük hassasiyette olabilir ancak toplayıcı, yuvarlama hatalarının oluşumunu sınırlamak için genellikle FP32 gibi daha yüksek hassasiyette çalışır.
PyTorch gibi günlük yapay zeka çerçeveleri Tensör Çekirdeklerinden nasıl yararlanıyor?
Temel kitaplıklar büyük matris işlemlerini otomatik olarak Tensör Çekirdeği boyutlu döşemelere böler, böylece çerçeveler manuel kodlamaya gerek kalmadan hızlanır.
Öğrenmeye devam et
İlgili kılavuzlar
Bu konu için daha fazla rehber seçildi