Mi történt
A regiszter az egyéni és alternatív mesterségesintelligencia-hardverek irányába történő elmozdulásról számol be. Fiókja kiterjed a Cerebras moduláris CS-4 állványrendszerére, a Marvell növekvő szerepére az egyedi gyorsítótervezésben, a Google speciális TPU-k folyamatos használatára, valamint a Waymo gépi tanulási gyorsítójának fejlesztésére autonóm járművekhez. A jelentés azt is leírja, hogy a Microsoft számos Windows testreszabási és AI-monitoring funkciót állít vissza, de ez egy külön másodlagos szál.
A Register augusztus 24-i jelentése arra összpontosít, amit a szerkesztők úgy írnak le, mint a Nvidia domináns szerepét az AI-adatközpontokban. A szállítók egyre inkább felosztják a munkaterhelést a különböző szilíciumfajták között, ahelyett, hogy egyetlen gyorsítótípusra hagyatkoznának. A fő nyomáspontként a következtetéseket vagy a betanított modellekből származó kimeneteket mutatja be: a szolgáltatók magas token-arányt akarnak a kódolási asszisztensek és más interaktív szolgáltatások számára, miközben szabályozzák a kérések kiszolgálásának energia- és hardverköltségeit. A Regisztráció cikke egy podcast-átirat és elemzés, ezért úgy kell értelmezni, mint az adott üzlet jelentését, nem pedig minden műszaki állítás független ellenőrzött dokumentációját.
A Register jelentése szerint a Cerebras a nagy, monolit rendszerekről a CS-4 rack-méretű kialakítása felé halad. A korábbi Cerebras rendszerek egy nagy, energiaéhes ostyaméretű chipet helyeztek el egy önálló, folyadékhűtéses házba. Az új megközelítés három chipet helyez el egy moduláris rack elrendezésben, lehetővé téve a számítási összetevők cseréjét anélkül, hogy a kapcsolódó tápellátó berendezéseket ki kellene cserélni. A Register szerint a kialakítás megduplázza az órajelet, a memória sávszélességét és a bemeneti-kimeneti sebességet, miközben háromszor annyi szilíciumot helyez el egy rackben. Azt is mondja, hogy a Cerebras partnerkapcsolatban áll a AWS-vel és az AMD-vel, és a gyors tokengenerálás felkeltette az érdeklődést a kódolási asszisztensek és más következtetési szolgáltatások iránt.
A jelentés egy tágabb, egyedi szilícium ökoszisztémát ír le a hiperskálázók körül: a Google 2015 óta használja saját Tensor feldolgozó egységeit, és a Broadcomra támaszkodott az egyedi gyorsítótervezés egyes részeiben, míg a Marvell az egyedi XPU-k és csatlakozási munkák versenytársává válik, miután szellemi tulajdonú portfóliót épített fel. A cikk ezt úgy fogalmazza meg, hogy a felhőcégek összehasonlítsák a beszállítókat vagy csökkentsék az egyetlen tervezőpartnertől való függést, de nem dokumentál egy konkrét új Google-Marvell szerződést; A jövőbeli vevői stratégiákra és az árképzési nyomásra vonatkozó állítások kommentárok, nem pedig kialakult fejlemények. A Waymo bemutatott egy egyedi gépi tanulási gyorsítót, amelyet járművekhez szántak, mivel az érzékelő hangereje és az alacsony késleltetés számít, amikor akadály jelenik meg. A Register szerint a Waymo nagymértékben támaszkodott a terepen programozható kaputömbökre, és nagyobb számítási sűrűségre és egy alkalmazás-specifikus integrált áramkör könnyebb fejlesztésére törekszik, de nem közöl specifikációkat, tesztelési eredményeket, gyártási ütemtervet vagy biztonsági nyilvántartást. A Microsoft különállóan teszteli a mozgatható Windows 11 tálcákat, a testreszabhatóbb helyi menüket és a Feladatkezelő láthatóságát a neurális feldolgozóegységek munkaterhelésein.
Forrás részletei: theregister.com ↗
Miért számít
Az elmozdulás kevésbé függővé teheti a mesterséges intelligencia infrastruktúráját a Nvidia GPU egy osztályától, és nagyobb hangsúlyt fektethet a bizonyos következtetési munkaterhelésekhez tervezett hardverekre. Gyorsabb reakcióidő, alacsonyabb működési költségek, jobb energiahatékonyság és szorosabb integráció az érzékelőkkel – ezek a The Register által leírt gyakorlati célok. A jelentés nem állapítja meg, hogy bármely alternatíva nagyjából túlszárnyalta volna a Nvidia-t a valós telepítésekben.
A gyakorlati jelentősége az, hogy az AI teljesítményét nem csak a modell határozza meg. A Register jelentései azt mutatják, hogy a gyártók a hardvert a következtetések alatt optimalizálják bizonyos korlátok miatt: tokengenerálási sebesség az interaktív eszközöknél, teljesítmény és hűtés az adatközponti rackeknél, valamint késleltetés a járművezérlésnél. Ha ezek a tervek nagymértékben működnek, a vállalatok különböző gyorsítókat választhatnak a képzéshez, a nagy mennyiségű következtetésekhez, a prémium alacsony késleltetésű kérésekhez és az éles munkaterheléshez. Ez speciálisabbá tenné az AI-infrastruktúra piacát, és több alternatívát kínálhatna az ügyfeleknek az általános célú GPU-rendszerekkel szemben.
A Cerebras által bejelentett rack-újratervezés rávilágít egy olyan működési problémára, amely kihagyható a teljesítményre vonatkozó főkövetelményekből. A regiszter szerint a korábbi rendszerek körülbelül 15 kilowatttot fogyasztottak a chiphez, és a számítástechnikát egy nagy házba épített energiaellátó berendezéssel látták el. A moduláris rack kevésbé zavaróvá teheti a javításokat és a frissítéseket, még akkor is, ha a szilícium szokatlanul energiaéhes marad. Az adatközpontok üzemeltetői számára a szervizelhetőség, a kábelezés, a hűtés és egy meghibásodott alkatrész cseréjének lehetősége ugyanolyan fontos lehet, mint a csúcsteljesítmény. A forrás nem ellenőrzi függetlenül a jelentett teljesítmény- vagy teljesítményadatokat, így ezek az előnyök továbbra is technikai felülvizsgálatot igényelnek.
A szélesebb beszállítói bázis befolyásolhatja az alkuerőt és a befektetési döntéseket. A nyilvántartás azt sugallja, hogy a felhőcégek gyakran külső szellemi tulajdonnal foglalkozó cégeket használnak az egyedi chipek kevésbé jellegzetes részeihez, miközben a belső tervezést a szolgáltatásaikhoz kapcsolódó funkciókra összpontosítják. A Broadcom és a Marvell közötti verseny egy másik tervezési utat kínálhat a hiperskálázóknak, de az egyedi szilícium szoftver- és támogatási kötelezettségeket is jelent. Előfordulhat, hogy az egyik munkaterheléshez hatékony chipet nehéz programozni, nehéz beszerezni, vagy rosszul illeszkedik a másikhoz. A jelentés nem kínál költség-összehasonlítást a Nvidia rendszerekkel, és nincs bizonyíték arra, hogy az ügyfelek széles körben váltanának. Waymo példája az egyedi mesterséges intelligencia hardvert a biztonságra érzékeny telepítéshez köti, nem csak az adatközponti gazdaságossághoz: az alacsony késleltetés fontos, amikor a jármű reagál az érzékelő bemenetére, és a távoli emberi beavatkozás nem helyettesíti ideálisan az azonnali fedélzeti feldolgozást. Ez nem bizonyítja a biztonság javulását; nincs független értékelés, hibaarány-összehasonlítás vagy szabályozási értékelés. A szűkebb következtetés az, hogy az autonóm járművek okot adnak a szilícium tervezésére a szenzorok feldolgozása és a válaszidő köré, míg a lakossági hatás a valós működési körülmények között való érvényesítéstől függ.
Interaktív mechanizmus: Hogyan működik valójában
Fedezze fel interaktívan a fejlesztés mögött meghúzódó technológiát.
crm_get_transaction(id='4092').Which component of an AI application is the machine-learning model itself?
Mit nézzünk ezután
A kulcsfontosságú tesztek a nyilvános műszaki dokumentáció, a független benchmarkok és a skálázott vásárlói használat bizonyítékai. Nézze meg, hogy a Cerebras új rack-kialakítása, a Marvell által támogatott egyedi gyorsítók és a Waymo járművek szilíciuma eléri-e a gyártást, és hogy ezek előnyei meghaladják-e a szoftverek, az ellátási lánc és a karbantartás költségeit. A Microsoft Windows-módosításait a nyilvános elérhetőség alapján is meg kell ítélni, és azt, hogy javítják-e a felhasználói felügyeletet, ahelyett, hogy pusztán további rendszerfelügyeletet adnának.
Először keresse meg a Cerebras, Waymo, Google, Marvell vagy ügyfeleik elsődleges műszaki anyagát. A hasznos bizonyítékok közé tartoznak az architektúra dokumentumok, a teljesítménymérések, a szoftvertámogatás, a gyártási állapot és az egyértelműen meghatározott munkaterhelési tesztek. A Regiszter jelentése hírértékű térképet ad az érintett cégekről, de nem állapít meg elérhetőséget, árazást, vásárlói mennyiséget vagy független teljesítményt. Ezek a hiányzó részletek határozzák meg, hogy a fejlesztések ipari lépések-e vagy elsősorban mérnöki tervek.
Másodszor, hasonlítsd össze a hasonlót a hasonlóval. A másodpercenkénti token adatok a modell méretétől, a kötegeléstől, a pontosságtól, a kontextus hosszától és az egyidejű felhasználók számától függően változhatnak. Egy egyéni gyorsító kiváló lehet egyetlen szűk következtetési mintához, és kevésbé hasznos általános munkaterheléshez. Nézze meg a független teszteket, amelyek mérik az átviteli sebességet, a válasz késleltetését, a generált tokenenkénti energiát, a kihasználtságot, a megbízhatóságot és a teljes birtoklási költséget a kortárs GPU-rendszerekhez képest. E kontextus nélkül a gyorsabb vagy olcsóbb mesterséges intelligencia állításait továbbra is nehéz értékelni. Harmadszor, kövesse a kereskedelmi kapcsolatokat: A Register beszámol a Cerebras partnerségről a AWS-vel és az AMD-vel, és leírja, hogy a Marvell egy olyan területre lép, amelyet korábban a Broadcom és a belső hiperskálázó csapatok uraltak. A következő fontos bizonyíték az lesz, hogy ezek a kapcsolatok általánosan hozzáférhető szolgáltatásokat, elnevezett telepítéseket vagy ismétlődő rendeléseket eredményeznek-e. A jelentés azon várakozása, hogy a AWS vagy az AMD szolgáltatások használhatják a Cerebras hardvert, előremutató kommentár, nem egy megerősített bevezetés, és nem is kell úgy kezelni.
Végül külön figyelje meg a Waymo járműbevezetését és a Microsoft szoftverváltozásait. A Waymo számára az az értelmes kérdés, hogy a gyorsítót beépítik-e a sorozatgyártású járművekbe, hogyan kezeli az érzékelők munkaterhelését, milyen tartalékrendszerek léteznek, és milyen biztonsági ellenőrzés történt. Windows esetén a The Register szerint a tálca mozgása a Release Preview csatornában van, és fejlesztés alatt áll a továbbfejlesztett NPU-folyamatok láthatósága, de a nyilvános időzítés és a végső viselkedés változhat. Egyik szálat sem szabad teljesnek bemutatni mindaddig, amíg a vállalatok nem teszik közzé a stabil rendelkezésre állást, és a független felhasználók nem tudják értékelni az eredményeket.