Műszaki ÚTMUTATÓ

Nagy sávszélességű memória

A nagy sávszélességű memória (HBM) egy halmozott memória, amely közvetlenül a GPU mellett helyezkedik el, és sokkal gyorsabban szállítja az adatokat, mint a hagyományos RAM.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A nagy sávszélességű memória jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Ez az, ami táplálja az AI-gyorsítókat, megakadályozva, hogy a nagy teljesítményű számítási magok tétlenül üljenek, miközben a modellsúlyokra és adatokra várnak.

Mély merülés

A HBM megold egy alapvető szűk keresztmetszetet: a modern AI-chipek több billió műveletet képesek elvégezni másodpercenként, de csak akkor, ha az adatok elég gyorsan érkeznek. A szabványos GDDR-memória egy viszonylag keskeny buszon keresztül csatlakozik, míg a HBM több DRAM-lemezt függőlegesen halmoz fel, és több ezer apró függőleges vezetékkel, úgynevezett átmenő szilícium-átmenettel (TSV) köti össze őket. Ezek a stackek a GPU-tól milliméternyire egy szilícium interposeren ülnek, rendkívül széles adatutat biztosítva, gondoljunk több ezer bitre egyszerre több száz helyett. Az eredmény a sávszélesség terabájt/másodpercben mérve. A generációk a HBM2-ről a HBM2e-re, HBM3-ra és HBM3e-re fejlődtek, amelyek mindegyike növeli a kapacitást és a sebességet. A nagy nyelvi modelleknél, amelyek súlyát folyamatosan streamelni kell, a HBM-kapacitás és a sávszélesség gyakran többet számít, mint a nyers számítás.

Valós megvalósítás

Egy nagy nyelvi modell több tíz vagy száz gigabájt súlyát a GPU közelében tartja, hogy minden következtetési lépés során lehessen őket streamelni.

Lehetővé teszi, hogy az NVIDIA H100 és H200 adatközponti GPU-k másodpercenként több terabájtnyi memória sávszélességet érjenek el edzéshez.

Az AI betanító fürtök tápellátása, ahol sok GPU mindegyike HBM-re támaszkodik, hogy elkerülje a mátrixműveletek közötti elakadást.

Támogatja a nagy felbontású generatív kép- és videómodelleket, amelyeknek hatalmas aktiválási tenzorokat kell gyorsan be- és kimozdítaniuk a memóriából.

A nagy sávszélességű memória jövője

A memória sávszélessége jelenleg a mesterséges intelligencia egyik vezető korlátja, így a HBM gyorsan fejlődik. A HBM3e zászlóshajó-gyorsítókat szállít, a HBM4 pedig szélesebb interfésszel, magasabb kötegekkel és csomagonként nagyobb kapacitással kecsegtet. A memória és a logika szorosabb együttműködésére számíthat, esetleg egyedi alapkioldókra és memória-közeli feldolgozásra, valamint kiélezett versenyre az olyan beszállítók között, mint az SK hynix, a Samsung és a Micron. A modellek növekedésével egyre több adat kerül a számításokhoz, gyorsabban és alacsonyabb energiafelhasználás mellett a mesterséges intelligencia hardveres fejlődésének központi eleme.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the High Bandwidth Memory quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a nagy sávszélességű memória?

A nagy sávszélességű memória (HBM) egy halmozott memória, amely közvetlenül a GPU mellett helyezkedik el, és sokkal gyorsabban szállítja az adatokat, mint a hagyományos RAM. Ez az, ami táplálja az AI-gyorsítókat, megakadályozva, hogy a nagy teljesítményű számítási magok tétlenül álljanak, miközben a modellsúlyokra és adatokra várnak.

Milyen elsődleges problémát jelent a nagy sávszélességű memória az AI-gyorsítók számára?

Az AI chipek csak akkor tudnak billiónyi műveletet végrehajtani másodpercenként, ha az adatok elég gyorsan megérkeznek; A HBM biztosítja ezt a sávszélességet, így a magok nem éheznek.

Miben különbözik a HBM fizikailag a hagyományos GDDR memóriától?

A HBM egymásra rakja a DRAM-okat, és több ezer függőleges vezetékkel (TSV) köti össze őket, így nagyon széles adatutat hoz létre.

Mire támaszkodik elsősorban a HBM a nagy sávszélesség eléréséhez?

A gyorsabb órajel helyett a HBM nagyon széles interfészt kínál (1024 bit veremenként és feljebb), így sok bájt mozog egyszerre.

Miért helyezik a HBM veremeket egy szilícium interposerre közvetlenül a GPU mellett?

A megosztott interposer rövid vezetékei csökkentik az átvitt bitenkénti energiát, és csökkentik a memória és a számítás közötti késleltetést.

Kifejezetten a nagy nyelvi modellek esetében miért lehet olyan fontos a HBM, mint a nyers számítás?

Az LLM következtetés folyamatosan nagy súlyú mátrixokat sugároz, így a memóriakapacitás és a sávszélesség gyakran korlátozó tényezővé válik, nem pedig a számítási átviteli sebesség.