LegközelebbKövetkező útmutató
Estimating GPU Memory Needed for LLMs
Műszaki
Műszaki ÚTMUTATÓ
A nagy sávszélességű memória (HBM) egy halmozott memória, amely közvetlenül a GPU mellett helyezkedik el, és sokkal gyorsabban szállítja az adatokat, mint a hagyományos RAM.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Ez az, ami táplálja az AI-gyorsítókat, megakadályozva, hogy a nagy teljesítményű számítási magok tétlenül üljenek, miközben a modellsúlyokra és adatokra várnak.
A HBM megold egy alapvető szűk keresztmetszetet: a modern AI-chipek több billió műveletet képesek elvégezni másodpercenként, de csak akkor, ha az adatok elég gyorsan érkeznek. A szabványos GDDR-memória egy viszonylag keskeny buszon keresztül csatlakozik, míg a HBM több DRAM-lemezt függőlegesen halmoz fel, és több ezer apró függőleges vezetékkel, úgynevezett átmenő szilícium-átmenettel (TSV) köti össze őket. Ezek a stackek a GPU-tól milliméternyire egy szilícium interposeren ülnek, rendkívül széles adatutat biztosítva, gondoljunk több ezer bitre egyszerre több száz helyett. Az eredmény a sávszélesség terabájt/másodpercben mérve. A generációk a HBM2-ről a HBM2e-re, HBM3-ra és HBM3e-re fejlődtek, amelyek mindegyike növeli a kapacitást és a sebességet. A nagy nyelvi modelleknél, amelyek súlyát folyamatosan streamelni kell, a HBM-kapacitás és a sávszélesség gyakran többet számít, mint a nyers számítás.
Egy nagy nyelvi modell több tíz vagy száz gigabájt súlyát a GPU közelében tartja, hogy minden következtetési lépés során lehessen őket streamelni.
Lehetővé teszi, hogy az NVIDIA H100 és H200 adatközponti GPU-k másodpercenként több terabájtnyi memória sávszélességet érjenek el edzéshez.
Az AI betanító fürtök tápellátása, ahol sok GPU mindegyike HBM-re támaszkodik, hogy elkerülje a mátrixműveletek közötti elakadást.
Támogatja a nagy felbontású generatív kép- és videómodelleket, amelyeknek hatalmas aktiválási tenzorokat kell gyorsan be- és kimozdítaniuk a memóriából.
A memória sávszélessége jelenleg a mesterséges intelligencia egyik vezető korlátja, így a HBM gyorsan fejlődik. A HBM3e zászlóshajó-gyorsítókat szállít, a HBM4 pedig szélesebb interfésszel, magasabb kötegekkel és csomagonként nagyobb kapacitással kecsegtet. A memória és a logika szorosabb együttműködésére számíthat, esetleg egyedi alapkioldókra és memória-közeli feldolgozásra, valamint kiélezett versenyre az olyan beszállítók között, mint az SK hynix, a Samsung és a Micron. A modellek növekedésével egyre több adat kerül a számításokhoz, gyorsabban és alacsonyabb energiafelhasználás mellett a mesterséges intelligencia hardveres fejlődésének központi eleme.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A nagy sávszélességű memória (HBM) egy halmozott memória, amely közvetlenül a GPU mellett helyezkedik el, és sokkal gyorsabban szállítja az adatokat, mint a hagyományos RAM. Ez az, ami táplálja az AI-gyorsítókat, megakadályozva, hogy a nagy teljesítményű számítási magok tétlenül álljanak, miközben a modellsúlyokra és adatokra várnak.
Az AI chipek csak akkor tudnak billiónyi műveletet végrehajtani másodpercenként, ha az adatok elég gyorsan megérkeznek; A HBM biztosítja ezt a sávszélességet, így a magok nem éheznek.
A HBM egymásra rakja a DRAM-okat, és több ezer függőleges vezetékkel (TSV) köti össze őket, így nagyon széles adatutat hoz létre.
A gyorsabb órajel helyett a HBM nagyon széles interfészt kínál (1024 bit veremenként és feljebb), így sok bájt mozog egyszerre.
A megosztott interposer rövid vezetékei csökkentik az átvitt bitenkénti energiát, és csökkentik a memória és a számítás közötti késleltetést.
Az LLM következtetés folyamatosan nagy súlyú mátrixokat sugároz, így a memóriakapacitás és a sávszélesség gyakran korlátozó tényezővé válik, nem pedig a számítási átviteli sebesség.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Estimating GPU Memory Needed for LLMs
Műszaki