Ne oldu?
eTeknix, Nvidia'nin, Amazon'nin Annapurna Laboratuvarları ile tasarlanan yüksek bant genişliğine sahip bellek mimarisi olan NVHBM'yi tanıttığını bildirdi. Çıkış, tasarımın bellek denetleyicisini ana hızlandırıcıdan bellek paketinin temel kalıbına taşıdığını ve çok büyük modellere sahip AI sistemleri için tasarlandığını söylüyor.
eTeknix, Nvidia'nin yapay zeka iş yükleri için kendi yüksek bant genişliğine sahip bellek mimarisi olan NVHBM'yi tanıttığını bildirdi. Makale, Nvidia'nin tasarımı Amazon'nin çip bölümü Annapurna Labs ile birlikte geliştirdiğini söylüyor. Bildirilen hedef, modelleri trilyonlarca parametre içeren, verilerin işlemciler ve bellek arasında hızla taşınmasının performansı sınırlayabildiği ve güç tüketimini artırabildiği bir yapay zeka sistemleri sınıfıdır. Kaynak, NVHBM'yi genel amaçlı bir tüketici hafıza ürünü yerine yapay zeka hızlandırıcıları için bir altyapı teknolojisi olarak sunuyor. Ürün fiyatı, nakliye tarihi veya eksiksiz teknik özellikler sağlamaz.
eTeknix'e göre, ayırt edici tasarım seçeneği, bellek denetleyicisini, makalenin XPU olarak adlandırdığı ana işlemcinin içinde tutmak yerine, doğrudan yüksek bant genişliğine sahip belleğin temel kalıbına yerleştirmektir. Rapor, denetleyiciyi temel kalıba yerleştirmenin Nvidia'ye özgü olmadığını kabul ediyor ve Samsung, SK Hynix ve Micron'un da benzer yaklaşımları araştırdığını söylüyor. Ancak Nvidia'nin iddia edilen uygulaması, hızlandırıcıda gereken denetleyici mantığı miktarını azaltmanın ve fiziksel bellek arayüzünü daraltmanın bir yolu olarak sunuluyor. Kaynak, bunun işlemciyi ve belleği birbirine bağlayan paket bileşeni olan aracıyı basitleştirebileceğini söylüyor.
Çıkış, Nvidia'ye atfedilen çeşitli rakamları bildiriyor: HBM4E ile karşılaştırıldığında %30'dan fazla ek bant genişliği ve %15 daha düşük güç kullanımı. Ayrıca kontrol ünitesinin hareket ettirilmesinin ana çipin silikon alanının %25'ini serbest bırakabileceğini, arayüz genişliğini azaltmanın ise paketteki kullanılabilir silikonun %80'ini geri kazanabileceğini söylüyor. Bu rakamlar, eTeknix tarafından bildirilen şirket iddialarıdır; Sağlanan materyal hiçbir bağımsız kıyaslama, test metodolojisi, ürün numunesi veya üçüncü taraf onayı içermemektedir. eTeknix ayrıca Nvidia'nin, NVLink Fusion ekosistemindeki iş ortaklarının özel hızlandırıcıları daha kolay test edip entegre edebilmesi için spesifikasyonu birden fazla bellek üreticisi genelinde standartlaştırmak istediğini bildiriyor.
eTeknix, Amazon'nin NVHBM'yi benimsemeyi planlayan ilk şirketler arasında olduğunu söylüyor. Makale, Amazon'nin, gelecekteki AWS Trainium4 işlemcilerinde bellek mimarisini Nvidia'nin NVLink ara bağlantısıyla birleştirmeyi ve Amazon yongalarını ve Nvidia GPU'ları bir araya getiren raf düzeyinde bir mimari oluşturmayı planladığını bildiriyor. Nvidia tarafında ise rapor, NVHBM'nin 2028 için planlanan Feynman GPU mimarisiyle piyasaya sürülmesinin beklendiğini söylüyor. Bunlar, yayın organının açıkladığı gibi gelecek planları. Rapor, bugünkü kullanılabilirliği, tamamlanmış donanımı, müşteri dağıtımlarını veya kesin bir ticari lansman programını ortaya koymuyor.
Kaynak ayrıntıları: eteknix.com ↗
Neden önemli?
Bildirilen tasarım, yapay zekadaki merkezi bir altyapı kısıtlamasını hedefliyor: verilerin bellek ve işlemciler arasında verimli bir şekilde taşınması. Üretimde bildirilen kazanımlar elde edilirse NVHBM, hızlandırıcı tasarımcılarına daha fazla bant genişliği, daha düşük güç kullanımı ve bilgi işlem kaynakları için ek silikon alanı sağlayabilir.
Bellek, yapay zeka hızlandırıcı tasarımının sınırlayıcı bir parçası haline geldi çünkü işlemciler yalnızca ihtiyaç duydukları veriler yeterince hızlı ulaştığında verimli bir şekilde çalışabilirler. eTeknix'in raporu, NVHBM'yi bu sorunu paket düzeyinde çözmeye yönelik bir girişim olarak çerçeveliyor. Daha yüksek bant genişliği ve daha düşük güç kullanımının iddia edilen birleşimi, birçok hızlandırıcının birlikte çalıştığı ve bellek hareketinin önemli miktarda kaynak tüketebildiği büyük ölçekli eğitim ve çıkarım sistemlerinde en önemli husus olacaktır. Kaynak, iddia edilen bu iyileştirmelerin nasıl daha hızlı model eğitimine, daha düşük işletme maliyetlerine veya daha iyi son kullanıcı hizmetlerine dönüşeceğini belirtmiyor.
Bildirilen silikon tasarrufları gelecekteki hızlandırıcıların nasıl tasarlandığını da etkileyebilir. Bellek denetleyicisi için işlemci alanının %25'ine kadar artık ihtiyaç duyulmuyorsa, eTeknix bunu yapan belirli bir çipi bildirmese de tasarımcılar potansiyel olarak bu alanı ek bilgi işlem kaynaklarına ayırabilir. Kullanılabilir ambalaj silikonunun %80'e kadarının geri kazanılabileceği iddiası, kanıtlanmış bir performans sonucunu değil, aynı şekilde tasarım boşluğunu da açıklamaktadır. Pratik değer, kurtarılan alanın ne kadarının gerçekten kullanılabileceğine, paketin uygun fiyatlı olup olmadığına ve belleğin gerekli ölçekte üretilip üretilemeyeceğine bağlı olacaktır.
Standardizasyon planı önemlidir çünkü gelişmiş bellek yalnızca işlemciler, paketleme, ürün yazılımı ve üretim süreçleri birlikte çalıştığında faydalıdır. eTeknix, Nvidia'nin birden fazla bellek üreticisinin ortak bir NVHBM spesifikasyonunu desteklemesini istediğini, bunun da NVLink Fusion yoluyla özel hızlandırıcılar oluşturan şirketlerin entegrasyon çalışmalarını azaltabileceğini bildirdi. Önerilen Amazon bağlantısı, Trainium4'ün sonunda Nvidia ağ iletişimi veya hızlandırıcı altyapısıyla birleşmesi durumunda önemi Nvidia'nin kendi GPU'larının ötesine taşıyacaktır. Yine de sağlanan rapor, adı geçen bellek tedarikçileriyle yapılan anlaşmaları, tamamlanmış birlikte çalışabilirlik testlerini veya bulut müşterilerinin açıkladığı gelecekteki Amazon benimsemesinin ötesindeki taahhütlerini belgelemiyor.
Bu nedenle hikaye yeni bir hafıza etiketinden daha fazlasını ilgilendiriyor. Nvidia'nin AI donanım yığınının önemli bir katmanını şekillendirmeye çalışırken bu katmanı ara bağlantı ekosistemine ve Amazon'nin işlemci yol haritasına bağlamaya çalıştığını anlatıyor. Bu, özel yapay zeka sistemlerinin nasıl oluşturulduğunu ve Nvidia'nin çevredeki bileşenler üzerinde ne kadar kontrol sahibi olduğunu etkileyebilir. Kamu etkisi olası olmaya devam ediyor: Makale, NVHBM'nin mevcut bulut kapasitesini, hızlandırıcı fiyatlandırmasını, enerji tüketimini veya yapay zeka hizmetlerine erişimi henüz değiştirdiğine dair hiçbir kanıt sunmuyor.
İnteraktif Mekanizma: Aslında Nasıl Çalışıyor?
Bu gelişmenin arkasında yatan teknolojiyi etkileşimli olarak keşfedin.
Which component of an AI application is the machine-learning model itself?
Bundan sonra ne izlenecek?
Ana bilinmeyenler ticari bulunabilirlik, üretim ortakları, bağımsız performans testleri ve dağıtımların zamanlamasıdır. eTeknix, Amazon'nin gelecekteki Trainium4 entegrasyonunu planladığını ve Nvidia'nin 2028'de Feynman'da piyasaya sürülmesini beklediğini söylüyor ancak sağlanan rapor, ürünün gönderildiğini veya iddia edilen faydaların bağımsız olarak doğrulandığını kanıtlamıyor.
İzlenecek ilk konu, Nvidia'nin tam bir NVHBM spesifikasyonu yayınlayıp yayınlamadığı ve bağımsız donanım analistlerinin veya müşterilerin bildirilen bant genişliği ve güç rakamlarını test edip etmediğidir. Sağlanan raporda HBM4E ile karşılaştırmalar verilmektedir ancak iş yükleri, bellek kapasiteleri, çalışma koşulları veya ölçüm yöntemleri açıklanmamaktadır. Bu ayrıntılar olmadan yüzdeler, belirli bir model veya veri merkezi için gerçek dünyadaki kazanımları tahmin etmek için kullanılamaz. Bağımsız testler ayrıca iyileştirmelerin genel olarak mı yoksa yalnızca dikkatlice seçilmiş konfigürasyonlara mı uygulanacağını açıklığa kavuşturacaktır.
İkinci konu ise tedarik ve birlikte çalışabilirliktir. Nvidia'nin eTeknix tarafından bildirildiği üzere belirtilen planı, NVHBM'yi çeşitli bellek üreticileri arasında standartlaştırmaktır, ancak makalede katılımcı tedarikçilerin adı veya üretim zaman çizelgeleri belirtilmemektedir. Gelecekte benimsenmesi, bu şirketlerin hacim olarak uyumlu parçalar üretip üretmediğine ve paketleme kapasitesinin yapay zeka hızlandırıcı talebine ayak uydurup yetişemeyeceğine bağlı olacaktır. Özel hızlandırıcı ortaklarının tasarımı Nvidia'ye özgü arayüzlere veya sertifikasyon süreçlerine daha fazla bağımlı hale gelmeden kullanıp kullanamayacaklarını görmek de önemli olacaktır.
Üçüncü konu ise rapor edilen ürün yol haritalarının zamanlamasıdır. eTeknix, Amazon'nin NVHBM ve NVLink'i gelecekteki Trainium4 işlemcilerine entegre etmeyi planladığını ve Nvidia'nin bu teknolojinin 2028'de Feynman GPU'larında görünmesini beklediğini söylüyor. Raporda Trainium4'ün ne zaman piyasaya sürüleceği, iki şirketin ürünlerinin bir arada bulunup bulunmayacağı ya da 2028 beklentisinin kesin bir taahhüt olup olmadığı belirtilmiyor. Bu nedenle bu tarihler, mevcut kullanılabilirlik yerine ileriye dönük planlar olarak değerlendirilmelidir.
Son olarak okuyucular, gerçek dağıtım etkilerinin kanıtlarını izlemelidir: sistem düzeyinde daha düşük güç kullanımı, tanımlanmış yapay zeka iş yükleri için daha yüksek verim, hızlandırıcı yoğunluğundaki değişiklikler veya azaltılmış paket karmaşıklığı. Bu sonuçların hiçbiri bu makale tarafından belirlenmemiştir. Anlamlı bilinmeyenler arasında maliyet, verim, termal davranış, bellek kapasitesi, mevcut sistemlerle uyumluluk ve diğer tedarikçilerin rakip temel kalıp tasarımlarının pazara ulaşma derecesi yer alıyor. Bu sorular yanıtlanana kadar NVHBM, sonuç olarak bildirilen bir donanım yönüdür, ancak pratik avantajı doğrulanmamıştır.