Mi történt
Az eTeknix jelentése szerint a Nvidia bemutatta az NVHBM-et, egy nagy sávszélességű memóriaarchitektúrát, amelyet a Amazon Annapurna Labs-jával terveztek. Az aljzat szerint a kialakítás a memóriavezérlőt a fő gyorsítóból a memóriacsomag alaplemezébe helyezi át, és nagyon nagy modellekkel rendelkező AI-rendszerekhez készült.
Az eTeknix jelentése szerint a Nvidia bemutatta az NVHBM-et, a saját nagy sávszélességű memóriaarchitektúráját a mesterséges intelligencia munkaterheléséhez. A cikk szerint a Nvidia a tervezést az Annapurna Labs-szal, a Amazon chip részlegével közösen fejlesztette ki. A bejelentett cél az AI-rendszerek egy osztálya, amelynek modelljei több billió paramétert tartalmaznak, ahol az adatok gyors mozgatása a processzorok és a memória között korlátozhatja a teljesítményt és növelheti az energiafogyasztást. A forrás az NVHBM-et az AI-gyorsítók infrastrukturális technológiájaként mutatja be, nem pedig általános célú fogyasztói memóriatermékként. Nem ad meg termékárat, szállítási dátumot vagy teljes műszaki specifikációt.
Az eTeknix szerint a megkülönböztető tervezési választás az, hogy a memóriavezérlőt közvetlenül a nagy sávszélességű memória alaplemezébe helyezik, ahelyett, hogy a fő processzorban, amelyet a cikk XPU-nak nevezne. A jelentés elismeri, hogy a vezérlő behelyezése az alaplapba nem egyedülálló a Nvidia esetében, és azt állítja, hogy a Samsung, az SK Hynix és a Micron hasonló megközelítéseket vizsgál. A Nvidia állítólagos megvalósítását azonban úgy mutatják be, mint a gyorsítón szükséges vezérlőlogika mennyiségének csökkentését és a fizikai memória interfész szűkítését. A forrás szerint ez leegyszerűsítheti az interposert, a processzort és a memóriát összekötő csomagkomponenst.
Az aljzat több, a Nvidia-nek tulajdonítható adatot közöl: több mint 30%-kal több sávszélességet és 15%-kal alacsonyabb energiafogyasztást jelent a HBM4E-hez képest. Azt is mondja, hogy a vezérlő mozgatásával a fő chip szilíciumterületének akár 25%-a is felszabadítható, míg az interfész szélességének csökkentése a csomagban lévő használható szilícium 80%-át is visszanyerheti. Ezek a számok az eTeknix által közölt vállalati követelések; a szállított anyag nem tartalmaz független referenciaértéket, vizsgálati módszertant, termékmintát vagy harmadik féltől származó megerősítést. Az eTeknix továbbá beszámol arról, hogy a Nvidia szabványosítani kívánja a specifikációkat több memóriagyártó esetében, hogy az NVLink Fusion ökoszisztémájában szereplő partnerek könnyebben tesztelhessék és integrálhassák az egyedi gyorsítókat.
Az eTeknix szerint a Amazon az elsők között tervezi az NVHBM bevezetését. A cikk arról számol be, hogy a Amazon a memóriaarchitektúrát a Nvidia NVLink összekapcsolásával kívánja kombinálni a jövőbeli AWS Trainium4 processzoraiban, így olyan rack szintű architektúrát hoz létre, amely egyesíti a Amazon chipeket és a Nvidia GPU-kat. A Nvidia oldalán a jelentés szerint az NVHBM várhatóan a Feynman GPU architektúrával fog debütálni, amelyet 2028-ra terveznek. Ezek a jövőbeli tervek, ahogyan azt az üzlet ismerteti. A jelentés nem határozza meg a jelenlegi rendelkezésre állást, a kész hardvert, az ügyfelek telepítéseit vagy a határozott kereskedelmi bevezetési ütemtervet.
Forrás részletei: eteknix.com ↗
Miért számít
A bejelentett tervezés a mesterséges intelligencia központi infrastrukturális korlátját célozza meg: az adatok hatékony mozgatását a memória és a processzorok között. Ha a jelentett javulást elérik a termelésben, az NVHBM nagyobb sávszélességet, alacsonyabb energiafelhasználást és további szilíciumterületet biztosíthat a számítási erőforrások számára.
A memória az AI-gyorsító tervezésének korlátozó részévé vált, mivel a processzorok csak akkor tudnak hatékonyan dolgozni, ha a szükséges adatok elég gyorsan megérkeznek. Az eTeknix jelentése az NVHBM-et a probléma csomagszintű megoldására tett kísérletként fogalmazza meg. A nagyobb sávszélesség és az alacsonyabb energiafelhasználás állítólagos kombinációja leginkább a nagyszabású képzési és következtetési rendszerekben számítana, ahol sok gyorsító együtt működik, és a memória mozgása jelentős erőforrásokat emészt fel. A forrás nem számszerűsíti, hogy ezek az állítólagos fejlesztések miként jelentenének gyorsabb modellképzést, alacsonyabb működési költségeket vagy jobb végfelhasználói szolgáltatásokat.
A bejelentett szilícium-megtakarítások hatással lehetnek a jövőbeli gyorsítók tervezésére is. Ha a processzorterület akár 25%-ára már nincs szükség a memóriavezérlőhöz, a tervezők ezt a helyet további számítási erőforrásokra fordíthatják, bár az eTeknix nem számol be konkrét chipről, amely ezt tenné. Az az állítás, hogy a felhasználható szilíciumcsomag akár 80%-a visszanyerhető, szintén a tervezési mozgásteret írja le, nem pedig egy bizonyított teljesítményt. A gyakorlati érték attól függ, hogy a visszanyert területből mennyit lehet ténylegesen felhasználni, hogy a csomag megfizethető marad-e, és hogy a memória előállítható-e a kívánt méretben.
A szabványosítási terv fontos, mert a fejlett memória csak akkor hasznos, ha a processzorok, a csomagolás, a firmware és a gyártási folyamatok együtt működnek. Az eTeknix jelentése szerint a Nvidia azt szeretné, hogy több memóriagyártó támogassa a közös NVHBM specifikációt, ami csökkentheti az NVLink Fusion segítségével egyedi gyorsítókat építő vállalatok integrációs munkáját. A javasolt Amazon kapcsolat kiterjesztené a jelentőségét a Nvidia saját GPU-jain túlra, ha a Trainium4 végül egyesülne a Nvidia hálózati vagy gyorsító infrastruktúrával. Ennek ellenére a mellékelt jelentés nem dokumentálja a megnevezett memóriaszolgáltatókkal kötött megállapodásokat, a befejezett interoperabilitási tesztelést vagy a felhőalapú ügyfelek kötelezettségvállalásait az általa leírt jövőbeni Amazon bevezetésen túl.
A történet tehát többről szól, mint egy új emlékcímkéről. Leírja, hogy a Nvidia megpróbálja kialakítani az AI hardververem egy fontos rétegét, miközben ezt a réteget összekapcsolja az összekapcsoló ökoszisztémával és a Amazon processzortervével. Ez befolyásolhatja az egyedi AI-rendszerek felépítését, és azt, hogy a Nvidia mennyi irányítást tart fenn a környező komponensek felett. A nyilvánosságra gyakorolt hatás továbbra is várható: a cikk nem szolgáltat bizonyítékot arra vonatkozóan, hogy az NVHBM még megváltoztatta volna a rendelkezésre álló felhőkapacitást, a gyorsító árat, az energiafogyasztást vagy az AI-szolgáltatásokhoz való hozzáférést.
Interaktív mechanizmus: Hogyan működik valójában
Fedezze fel interaktívan a fejlesztés mögött meghúzódó technológiát.
Which component of an AI application is the machine-learning model itself?
Mit nézzünk ezután
A fő ismeretlenek a kereskedelmi elérhetőség, a gyártópartnerek, a független teljesítményteszt és a telepítések ütemezése. Az eTeknix szerint a Amazon a Trainium4 jövőbeli integrációját tervezi, a Nvidia pedig 2028-ban várható a Feynman debütálása, de a mellékelt jelentés nem állapítja meg, hogy bármelyik terméket szállították volna, vagy hogy az állítólagos előnyöket függetlenül ellenőrizték volna.
Az első figyelendő kérdés az, hogy a Nvidia közzétesz-e egy teljes NVHBM-specifikációt, és hogy független hardverelemzők vagy ügyfelek tesztelik-e a jelentett sávszélesség- és teljesítményadatokat. A mellékelt jelentés összehasonlításokat ad a HBM4E-vel, de nem írja le a munkaterhelést, a memóriakapacitást, a működési feltételeket vagy a mérési módszereket. E részletek nélkül a százalékos értékek nem használhatók egy adott modell vagy adatközpont valós nyereségének előrejelzésére. A független tesztelés azt is tisztázná, hogy a fejlesztések széles körben vonatkoznak-e, vagy csak a gondosan kiválasztott konfigurációkra.
A második kérdés az ellátás és az interoperabilitás. A Nvidia kinyilvánított terve az eTeknix jelentése szerint az NVHBM szabványosítása több memóriagyártó esetében, de a cikk nem nevezi meg a részt vevő beszállítókat, és nem azonosítja a gyártási ütemterveket. A jövőbeni bevezetés attól függ, hogy ezek a vállalatok kompatibilis alkatrészeket gyártanak-e mennyiségben, és hogy a csomagolási kapacitás lépést tud-e tartani az AI-gyorsítók keresletével. Az is fontos lesz, hogy az egyedi gyorsítópartnerek tudják-e használni a tervezést anélkül, hogy jobban függnének a Nvidia-specifikus interfészektől vagy tanúsítási folyamatoktól.
A harmadik probléma a jelentett termék ütemtervének időzítése. Az eTeknix szerint a Amazon azt tervezi, hogy integrálja az NVHBM-et és az NVLink-et a jövőbeli Trainium4 processzorokba, és hogy a Nvidia arra számít, hogy a technológia 2028-ban jelenik meg a Feynman GPU-kkal. A jelentés nem szól arról, hogy a Trainium4 mikor fog megjelenni, a két vállalat termékei együtt lesznek-e elérhetőek, vagy hogy a két vállalat termékei együtt lesznek-e elérhetőek, vagy hogy a vállalás szilárd. Ezért ezeket a dátumokat előretekintő tervként kell kezelni, nem pedig a jelenlegi rendelkezésre állást.
Végül az olvasóknak figyelniük kell a tényleges telepítési hatások bizonyítékait: alacsonyabb energiafelhasználás rendszerszinten, nagyobb átviteli sebesség meghatározott mesterségesintelligencia-munkaterheléseknél, változás a gyorsító sűrűségében vagy csökkentett csomagok bonyolultsága. Ezen eredmények egyikét sem állapítja meg ez a cikk. A jelentőségteljes ismeretlenek közé tartozik a költség, a hozam, a termikus viselkedés, a memóriakapacitás, a meglévő rendszerekkel való kompatibilitás és az, hogy más szállítók versengő alapszerszám-tervei milyen mértékben érik el a piacot. Amíg ezekre a kérdésekre nem válaszolunk, az NVHBM egy következményként bejelentett hardverirány, de gyakorlati előnye meg nem erősített.