Apa yang terjadi
eTeknix melaporkan bahwa Nvidia memperkenalkan NVHBM, arsitektur memori bandwidth tinggi yang dirancang dengan Annapurna Labs Amazon. Outlet tersebut mengatakan bahwa desain tersebut memindahkan pengontrol memori dari akselerator utama ke dalam cetakan dasar paket memori dan ditujukan untuk sistem AI dengan model yang sangat besar.
eTeknix melaporkan bahwa Nvidia telah memperkenalkan NVHBM, arsitektur memori bandwidth tinggi miliknya untuk beban kerja kecerdasan buatan. Artikel tersebut mengatakan Nvidia mengembangkan desain tersebut bersama dengan Annapurna Labs, divisi chip Amazon. Target yang dilaporkan adalah kelas sistem AI yang modelnya berisi triliunan parameter, dimana perpindahan data dengan cepat antara prosesor dan memori dapat membatasi kinerja dan meningkatkan konsumsi daya. Sumber tersebut menyajikan NVHBM sebagai teknologi infrastruktur untuk akselerator AI, bukan sebagai produk memori konsumen untuk keperluan umum. Itu tidak memberikan harga produk, tanggal pengiriman atau spesifikasi teknis lengkap.
Menurut eTeknix, pilihan desain yang membedakannya adalah menempatkan pengontrol memori langsung di dasar memori bandwidth tinggi daripada menyimpannya di dalam prosesor utama, yang dalam artikel tersebut disebut XPU. Laporan tersebut mengakui bahwa menempatkan pengontrol di cetakan dasar bukanlah hal yang unik untuk Nvidia dan mengatakan bahwa Samsung, SK Hynix, dan Micron sedang menjajaki pendekatan serupa. Namun, implementasi yang diklaim Nvidia disajikan sebagai cara untuk mengurangi jumlah logika pengontrol yang diperlukan pada akselerator dan untuk mempersempit antarmuka memori fisik. Sumber tersebut mengatakan hal ini dapat menyederhanakan interposer, komponen paket yang menghubungkan prosesor dan memori.
Outlet tersebut melaporkan beberapa angka yang dikaitkan dengan Nvidia: bandwidth tambahan lebih dari 30% dan penggunaan daya 15% lebih rendah dibandingkan dengan HBM4E. Dikatakan juga bahwa memindahkan pengontrol dapat mengosongkan hingga 25% area silikon chip utama, sementara mengurangi lebar antarmuka dapat memulihkan hingga 80% silikon yang dapat digunakan dalam paket. Angka-angka tersebut merupakan klaim perusahaan seperti dilansir eTeknix; materi yang disediakan tidak mengandung tolok ukur independen, metodologi pengujian, sampel produk, atau konfirmasi pihak ketiga. eTeknix lebih lanjut melaporkan bahwa Nvidia ingin menstandardisasi spesifikasi di beberapa pembuat memori sehingga mitra dalam ekosistem NVLink Fusion dapat menguji dan mengintegrasikan akselerator khusus dengan lebih mudah.
eTeknix mengatakan Amazon adalah salah satu perusahaan pertama yang berencana mengadopsi NVHBM. Artikel tersebut melaporkan bahwa Amazon bermaksud menggabungkan arsitektur memori dengan interkoneksi NVLink Nvidia pada prosesor AWS Trainium4 masa depan, menciptakan arsitektur tingkat rak yang menyatukan chip Amazon dan GPU Nvidia. Di pihak Nvidia, laporan tersebut mengatakan NVHBM diperkirakan akan debut dengan arsitektur GPU Feynman, yang direncanakan pada tahun 2028. Itu adalah rencana masa depan seperti yang dijelaskan oleh outlet tersebut. Laporan tersebut tidak menetapkan ketersediaan saat ini, perangkat keras yang telah selesai, penerapan pelanggan, atau jadwal peluncuran komersial yang pasti.
Mengapa itu penting
Desain yang dilaporkan menargetkan kendala infrastruktur utama dalam AI: memindahkan data antara memori dan prosesor secara efisien. Jika keuntungan yang dilaporkan tercapai dalam produksi, NVHBM dapat memberikan bandwidth yang lebih besar kepada perancang akselerator, penggunaan daya yang lebih rendah, dan area silikon tambahan untuk sumber daya komputasi.
Memori telah menjadi bagian yang membatasi desain akselerator AI karena prosesor hanya dapat bekerja secara efisien jika data yang dibutuhkan tiba dengan cukup cepat. Laporan eTeknix membingkai NVHBM sebagai upaya untuk mengatasi masalah tersebut di tingkat paket. Kombinasi yang diklaim antara bandwidth yang lebih tinggi dan penggunaan daya yang lebih rendah akan menjadi hal yang paling penting dalam pelatihan skala besar dan sistem inferensi, di mana banyak akselerator beroperasi bersama-sama dan pergerakan memori dapat menghabiskan sumber daya yang besar. Sumber tersebut tidak menghitung bagaimana peningkatan yang diklaim ini akan menghasilkan pelatihan model yang lebih cepat, biaya pengoperasian yang lebih rendah, atau layanan pengguna akhir yang lebih baik.
Penghematan silikon yang dilaporkan juga dapat memengaruhi desain akselerator di masa depan. Jika hingga 25% area prosesor tidak lagi diperlukan untuk pengontrol memori, desainer berpotensi menggunakan ruang tersebut untuk sumber daya komputasi tambahan, meskipun eTeknix tidak melaporkan chip spesifik yang melakukan hal tersebut. Klaimnya bahwa hingga 80% paket silikon yang dapat digunakan dapat dipulihkan juga menggambarkan ruang kepala desain, bukan hasil kinerja yang ditunjukkan. Nilai praktisnya akan bergantung pada seberapa banyak area yang dipulihkan benar-benar dapat digunakan, apakah paket tersebut tetap terjangkau, dan apakah memori dapat diproduksi pada skala yang diperlukan.
Rencana standardisasi penting karena memori tingkat lanjut hanya berguna ketika prosesor, pengemasan, firmware, dan proses manufaktur bekerja sama. eTeknix melaporkan bahwa Nvidia menginginkan beberapa pembuat memori untuk mendukung spesifikasi NVHBM umum, yang dapat mengurangi pekerjaan integrasi bagi perusahaan yang membangun akselerator khusus melalui NVLink Fusion. Koneksi Amazon yang diusulkan akan memperluas signifikansinya melampaui GPU Nvidia sendiri jika Trainium4 pada akhirnya digabungkan dengan jaringan Nvidia atau infrastruktur akselerator. Namun, laporan yang diberikan tidak mendokumentasikan perjanjian dengan pemasok memori yang disebutkan, menyelesaikan pengujian interoperabilitas, atau komitmen dari pelanggan cloud di luar adopsi Amazon di masa depan yang dijelaskan.
Oleh karena itu, ceritanya lebih dari sekadar label memori baru. Ini menggambarkan Nvidia mencoba membentuk lapisan penting dari tumpukan perangkat keras AI sambil menghubungkan lapisan tersebut ke ekosistem interkoneksinya dan ke peta jalan prosesor Amazon. Hal ini dapat memengaruhi cara sistem AI khusus dibuat dan seberapa besar kontrol yang dimiliki Nvidia terhadap komponen di sekitarnya. Dampak terhadap publik masih bersifat prospektif: artikel ini tidak memberikan bukti bahwa NVHBM telah mengubah kapasitas cloud yang tersedia, harga akselerator, konsumsi energi, atau akses ke layanan AI.
Mekanisme Interaktif: Cara Kerja Sebenarnya
Jelajahi teknologi yang mendasari di balik perkembangan ini secara interaktif.
Which component of an AI application is the machine-learning model itself?
Apa yang harus ditonton selanjutnya
Hal utama yang belum diketahui adalah ketersediaan komersial, mitra manufaktur, pengujian kinerja independen, dan waktu penerapan. eTeknix mengatakan Amazon merencanakan integrasi Trainium4 di masa depan dan Nvidia mengharapkan debut Feynman pada tahun 2028, namun laporan yang diberikan tidak menetapkan bahwa produk tersebut sedang dikirim atau bahwa manfaat yang diklaim telah diverifikasi secara independen.
Masalah pertama yang harus diperhatikan adalah apakah Nvidia menerbitkan spesifikasi NVHBM lengkap dan apakah analis perangkat keras independen atau pelanggan menguji bandwidth dan angka daya yang dilaporkan. Laporan yang diberikan memberikan perbandingan dengan HBM4E tetapi tidak menjelaskan beban kerja, kapasitas memori, kondisi pengoperasian, atau metode pengukuran. Tanpa rincian tersebut, persentase tidak dapat digunakan untuk memprediksi keuntungan nyata untuk model atau pusat data tertentu. Pengujian independen juga akan memperjelas apakah peningkatan tersebut berlaku secara luas atau hanya pada konfigurasi yang dipilih dengan cermat.
Isu kedua adalah pasokan dan interoperabilitas. Rencana Nvidia, seperti dilansir eTeknix, adalah untuk menstandardisasi NVHBM di beberapa pembuat memori, namun artikel tersebut tidak menyebutkan nama pemasok yang berpartisipasi atau mengidentifikasi jadwal produksi. Penerapan di masa depan akan bergantung pada apakah perusahaan-perusahaan tersebut memproduksi suku cadang yang kompatibel dalam jumlah besar dan apakah kapasitas pengemasan dapat mengimbangi permintaan akselerator AI. Penting juga untuk melihat apakah mitra akselerator khusus dapat menggunakan desain tersebut tanpa menjadi lebih bergantung pada antarmuka atau proses sertifikasi khusus Nvidia.
Masalah ketiga adalah waktu pelaporan peta jalan produk. eTeknix mengatakan Amazon berencana untuk mengintegrasikan NVHBM dan NVLink ke dalam prosesor Trainium4 masa depan dan bahwa Nvidia memperkirakan teknologi tersebut akan muncul dengan GPU Feynman pada tahun 2028. Laporan tersebut tidak menyebutkan kapan Trainium4 akan diluncurkan, apakah produk kedua perusahaan akan tersedia bersamaan, atau apakah ekspektasi tahun 2028 merupakan komitmen yang kuat. Oleh karena itu, tanggal-tanggal tersebut harus diperlakukan sebagai rencana masa depan dan bukan ketersediaan saat ini.
Terakhir, pembaca harus memperhatikan bukti dampak penerapan yang sebenarnya: penggunaan daya yang lebih rendah di tingkat sistem, throughput yang lebih tinggi untuk beban kerja AI yang ditentukan, perubahan kepadatan akselerator, atau pengurangan kompleksitas paket. Tak satu pun dari hasil tersebut ditetapkan dalam artikel ini. Hal-hal yang belum diketahui mencakup biaya, hasil, perilaku termal, kapasitas memori, kompatibilitas dengan sistem yang ada, dan sejauh mana desain base-die yang bersaing dari pemasok lain menjangkau pasar. Sampai pertanyaan-pertanyaan tersebut terjawab, NVHBM merupakan arahan perangkat keras yang dilaporkan secara konsekuensial, namun keuntungan praktisnya masih belum dikonfirmasi.