SelanjutnyaPanduan berikutnya
Estimating GPU Memory Needed for LLMs
Teknis
PANDUAN Teknis
Memori Bandwidth Tinggi
Memori Bandwidth Tinggi (HBM) adalah memori bertumpuk yang ditempatkan tepat di sebelah GPU yang mengirimkan data jauh lebih cepat dibandingkan RAM biasa.
Dengarkan panduan iniDiceritakan oleh AI · ~2 min
Di halaman ini2 menit membaca
Ikhtisar
It is what keeps AI accelerators fed, preventing the powerful compute cores from sitting idle while they wait for model weights and data.
Menyelam Lebih Dalam
HBM memecahkan hambatan mendasar: chip AI modern dapat melakukan triliunan operasi per detik, tetapi hanya jika data tiba dengan cukup cepat. Memori GDDR standar terhubung melalui bus yang relatif sempit, sementara HBM menumpuk beberapa DRAM mati secara vertikal dan menghubungkannya dengan ribuan kabel vertikal kecil yang disebut through-silicon vias (TSVs). Tumpukan ini berada pada interposer silikon beberapa milimeter dari GPU, memberikan jalur data yang sangat lebar, pikirkan ribuan bit sekaligus, bukan ratusan. Hasilnya adalah bandwidth yang diukur dalam terabyte per detik. Generasi telah maju dari HBM2 ke HBM2e, HBM3, dan HBM3e, masing-masing meningkatkan kapasitas dan kecepatan. Untuk model bahasa besar, yang bobotnya harus dialirkan secara konstan, kapasitas dan bandwidth HBM sering kali lebih penting daripada komputasi mentah.
Implementasi Dunia Nyata
Menahan bobot puluhan atau ratusan gigabyte untuk model bahasa besar di dekat GPU sehingga bobot tersebut dapat dialirkan selama setiap langkah inferensi.
Memungkinkan GPU pusat data NVIDIA H100 dan H200 mencapai bandwidth memori beberapa terabyte per detik untuk pelatihan.
Mendukung klaster pelatihan AI di mana banyak GPU masing-masing mengandalkan HBM untuk menghindari terhentinya operasi matriks.
Mendukung model gambar dan video generatif resolusi tinggi yang harus memindahkan tensor aktivasi besar masuk dan keluar memori dengan cepat.
Masa Depan Memori Bandwidth Tinggi
Bandwidth memori kini menjadi kendala utama pada AI, sehingga HBM berkembang pesat. HBM3e dikirimkan dalam akselerator andalan, dengan HBM4 menjanjikan antarmuka yang lebih luas, tumpukan yang lebih tinggi, dan kapasitas yang lebih besar per paket. Harapkan desain bersama yang lebih erat antara memori dan logika, mungkin cetakan dasar khusus dan pemrosesan dekat memori, ditambah persaingan ketat di antara pemasok seperti SK hynix, Samsung, dan Micron. Seiring berkembangnya model, mendekatkan lebih banyak data ke komputasi, lebih cepat, dan dengan energi yang lebih rendah, tetap menjadi inti kemajuan perangkat keras AI.
Mempraktikkannya
Mengapa itu penting
- Biaya dan anggaran. Keputusan arsitektur mendorong kinerja dan biaya pengoperasian selama bertahun-tahun.
- Keputusan yang lebih jelas. Pendidikan teknis membantu tim memilih tumpukan yang tepat, bukan hanya yang terbaru.
- Kontrol kualitas. Pilihan teknik yang lebih baik mengurangi insiden keandalan dalam produksi.
Hati-hati
- Mengoptimalkan satu tolok ukur dapat menyembunyikan kelemahan sistem yang lebih luas.
- Biaya infrastruktur dan pemeliharaan sering kali diremehkan.
- Kesenjangan keamanan dan kemampuan observasi dapat tumbuh seiring dengan semakin kompleksnya sistem.
Langkah selanjutnya
- Tentukan target latensi, kualitas, dan biaya sebelum penerapan.
- Tolok ukur dalam kondisi beban dan data yang realistis.
- Pemantauan instrumen untuk kesalahan, penyimpangan, dan dampak pengguna.
- Siapkan jalur rollback dan respons insiden sebelum melakukan penskalaan.
Terus Menjelajah
Buletin gratis
Dapatkan pengarahan AI harian
Tiga cerita AI terverifikasi setiap pagi hari kerja, ditulis dalam bahasa Inggris sederhana. Gratis selamanya, tanpa iklan.
Satu email setiap hari kerja. Berhenti berlangganan dalam satu klik. Kami tidak pernah menjual atau membagikan alamat Anda.
Uji diri Anda sendiri
Take the High Bandwidth Memory quiz
Umpan balik instan untuk setiap jawaban, dan sertifikat yang dapat dibagikan dengan ID yang dapat diverifikasi setelah Anda lulus kursus.
Mendukung pendidikan AI gratis. AI Understanding adalah organisasi nirlaba 501(c)(3) — tanpa iklan, tanpa paywall, selamanya. Berikan sumbangan
Pertanyaan yang sering diajukan
What is High Bandwidth Memory?
Memori Bandwidth Tinggi (HBM) adalah memori bertumpuk yang ditempatkan tepat di sebelah GPU yang mengirimkan data jauh lebih cepat dibandingkan RAM biasa. Hal inilah yang membuat akselerator AI tetap terisi, mencegah inti komputasi yang kuat tidak berdiam diri sementara menunggu bobot model dan data.
Masalah utama apa yang diatasi oleh Memori Bandwidth Tinggi untuk akselerator AI?
Chip AI dapat melakukan triliunan operasi per detik hanya jika data diterima cukup cepat; HBM memasok bandwidth tersebut sehingga core tidak kekurangan.
Bagaimana HBM dibuat secara fisik berbeda dari memori GDDR biasa?
HBM menumpuk DRAM mati di atas satu sama lain dan menghubungkannya dengan ribuan kabel vertikal (TSV), menciptakan jalur data yang sangat lebar.
Apa yang terutama diandalkan oleh HBM untuk mencapai bandwidth tinggi?
Daripada mencatat waktu lebih cepat, HBM memperlihatkan antarmuka yang sangat luas (1024 bit per tumpukan dan lebih tinggi) sehingga banyak byte berpindah sekaligus.
Mengapa tumpukan HBM ditempatkan pada interposer silikon tepat di sebelah GPU?
Kabel pendek pada interposer bersama menurunkan energi yang dibutuhkan per bit yang ditransfer dan mengurangi latensi antara memori dan komputasi.
Khususnya untuk model bahasa besar, mengapa HBM sama pentingnya dengan komputasi mentah?
Inferensi LLM terus mengalirkan matriks berbobot besar, sehingga kapasitas memori dan bandwidth sering kali menjadi faktor pembatas daripada throughput komputasi.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini