DalšíDalší průvodce
Odhad paměti GPU potřebné pro LLM
Technický
Technický PRŮVODCE
High Bandwidth Memory (HBM) je stohovaná paměť umístěná hned vedle GPU, která poskytuje data mnohem rychleji než běžná RAM.
Poslechněte si tento návodAI-vyprávěný · ~2 min
It is what keeps AI accelerators fed, preventing the powerful compute cores from sitting idle while they wait for model weights and data.
HBM řeší základní problém: moderní čipy AI dokážou provádět biliony operací za sekundu, ale pouze pokud data přicházejí dostatečně rychle. Standardní paměť GDDR se připojuje přes relativně úzkou sběrnici, zatímco HBM vertikálně naskládá několik zápustek DRAM a spojuje je s tisíci malých vertikálních drátů nazývaných průchozí křemíkové průchody (TSV). Tyto zásobníky jsou umístěny na křemíkovém interposeru milimetry od GPU a poskytují extrémně širokou datovou cestu, myslí si tisíce bitů najednou místo stovek. Výsledkem je šířka pásma měřená v terabajtech za sekundu. Generace pokročily od HBM2 k HBM2e, HBM3 a HBM3e, přičemž každá zvýšila kapacitu i rychlost. U velkých jazykových modelů, jejichž váhy je nutné neustále streamovat, je kapacita a šířka pásma HBM často důležitější než nezpracovaný výpočet.
Udržení desítek nebo stovek gigabajtů vah pro velký jazykový model v blízkosti GPU, takže je lze streamovat během každého kroku odvození.
Umožnění GPU datových center NVIDIA H100 a H200 dosáhnout více terabajtů za sekundu šířky pásma paměti pro trénink.
Napájení cvičných clusterů AI, kde mnoho GPU každý spoléhá na HBM, aby se zabránilo zasekávání mezi operacemi matrice.
Podpora generativních obrazových a video modelů s vysokým rozlišením, které musí rychle přesunout obrovské aktivační tenzory do paměti a z ní.
Šířka pásma paměti je nyní hlavním omezením AI, takže HBM rychle postupuje. HBM3e se dodává ve vlajkových akcelerátorech, přičemž HBM4 na obzoru slibuje širší rozhraní, vyšší stohy a větší kapacitu na balíček. Očekávejte užší společný design mezi pamětí a logikou, možná vlastní základní matrice a zpracování téměř s pamětí, plus nelítostná konkurence mezi dodavateli jako SK hynix, Samsung a Micron. Jak modely rostou, získávání více dat blíže k výpočtu, rychleji a s nižší spotřebou energie, zůstává ústředním bodem vývoje hardwaru AI.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
High Bandwidth Memory (HBM) je stohovaná paměť umístěná hned vedle GPU, která poskytuje data mnohem rychleji než běžná RAM. Je to to, co udržuje akcelerátory umělé inteligence napájené a zabraňuje výkonným výpočetním jádrům nečinně při čekání na hmotnosti modelu a data.
Čipy AI mohou provádět biliony operací za sekundu pouze v případě, že data přicházejí dostatečně rychle; HBM dodává tuto šířku pásma, takže jádra netrpí hladem.
HBM naskládá DRAM na sebe a propojí je s tisíci vertikálních drátů (TSV), čímž vytvoří velmi širokou datovou cestu.
Spíše než rychlejší taktování, HBM odhaluje velmi široké rozhraní (1024 bitů na zásobník a více), takže se pohybuje tolik bajtů najednou.
Krátké vodiče na sdíleném interposeru snižují energii potřebnou na přenesený bit a snižují latenci mezi pamětí a výpočtem.
LLM inference nepřetržitě streamuje velké váhové matice, takže kapacita paměti a šířka pásma se často stávají limitujícím faktorem spíše než výpočetní propustnost.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Odhad paměti GPU potřebné pro LLM
Technický