Co se stalo
TechCrunch uvádí, že konkurenční výhoda Nvidia v infrastruktuře AI se posouvá za hranice grafických procesorů. Jak se datová centra AI rozšiřují směrem ke spotřebě energie na úrovni gigawattů, společnost prodává integrované systémy určené ke koordinaci paměti, úložiště, sítí a výpočtů kolem GPU. Zpráva se zaměřuje na architekturu Vera Rubin Nvidia, která kombinuje GPU Rubin s CPU Vera, akcelerátory Groq 3 LPX a související úložné a síťové racky. Výkonný ředitel Nvidia Jason Hardy pro TechCrunch řekl, že CPU Vera je navrženo tak, aby pomáhalo směrovat data do GPU ve správný čas. Hardy řekl, že Nvidia zaznamenal až trojnásobné zlepšení v určitých operacích, ačkoli TechCrunch toto tvrzení nezávisle neověřil. TechCrunch také porovnává přístup Nvidia s čipem Jalapeño OpenAI, který byl navržen tak, aby omezil pohyb dat tím, že celou pracovní zátěž udržoval v rámci jednoho připojeného systému. Přístupy se liší, ale oba řeší stejný problém s infrastrukturou: efektivní přesun dat může být stejně důležitý jako přidání kapacity procesoru.
TechCrunch uvádí, že nedávná výhoda AI Nvidia je stále více vázána na infrastrukturu obklopující GPU. Outlet uvádí, že AI computing roste směrem k gigawattovému měřítku, což ztěžuje efektivní provoz velkých datových center. V tomto prostředí se podle článku stává koordinace pohybu dat a systémových komponent spíše ústředním technickým problémem než druhotným problémem.
Zpráva uvádí architekturu Vera Rubin Nvidia jako příklad této strategie. Podle TechCrunch architektura spáruje GPU Rubin s CPU Vera, akcelerátory Groq 3 LPX a srovnatelnými stojany pro úložiště a sítě. Outlet popisuje tyto komponenty jako specializované systémy určené ke zlepšení provozu všeho kolem GPU, spíše než k pouhému zpracování samotných tokenů.
Jason Hardy, viceprezident technologie úložiště Nvidia, řekl TechCrunch, že CPU Vera řeší omezenou kapacitu paměti jednoho serveru nebo výpočetní platformy a pomáhá organizovat data. TechCrunch uvádí, že Hardy řekl, že Nvidia zaznamenal až trojnásobné zlepšení v určitých operacích a mohl plněji využívat flash úložiště, aniž by vytvářel úzké místo. Toto tvrzení o výkonu pochází od Nvidia a nebylo nezávisle potvrzeno ve zdroji.
TechCrunch staví do kontrastu systémový přístup Nvidia s čipem Jalapeño OpenAI. Outlet cituje OpenAI, že Jalapeño bylo navrženo tak, aby minimalizovalo přesun dat a komunikační zpoždění tím, že udržuje celou pracovní zátěž v rámci jednoho připojeného systému. Nvidia a OpenAI používají různé návrhy, ale TechCrunch říká, že oba hledají efektivitu prostřednictvím chytřejšího řízení pohybu dat spíše než pouze prostřednictvím dalších cyklů procesoru.
Podrobnosti o zdroji: techcrunch.com ↗
Proč na tom záleží
Zpráva popisuje posun ve způsobu hodnocení infrastruktury AI. Výkon GPU zůstává důležitý, ale praktický výstup velkého systému umělé inteligence může také záviset na přístupu k paměti, úložišti, síti a softwaru a hardwaru použitém ke koordinaci těchto komponent. To by mohlo ztížit konkurentům napadnout Nvidia jednoduše tím, že nabídne alternativní akcelerátor. Konkurent by musel odpovídat výkonu širšího systému, včetně propojení mezi čipy a mechanismů, které udržují drahé procesory zásobovány daty. Důsledky zůstávají nejisté. Účet TechCrunch je částečně založen na vlastním vysvětlení systémů Nvidia a na tvrzení výkonného ředitele. Zdroj neposkytuje nezávislé výsledky ů, ceny, údaje o nasazení ani důkazy o tom, že výhoda plného systému Nvidia bude přetrvávat, i když hyperscalery vyvíjejí svou vlastní infrastrukturu.
Zpráva je důležitá, protože rozšiřuje definici výpočetní kapacity AI. Výkonný akcelerátor může být nedostatečně využit, pokud jej data, parametry modelu nebo mezivýsledky nedosáhnou dostatečně rychle. Ústředním bodem článku je, že návrh systému může určit, jak efektivně se používají drahé procesory AI.
To vytváří možnou překážku pro vyzyvatele. TechCrunch uvádí, že hyperscalery, jako jsou Amazon a Google, vyvinuly své vlastní čipy, čímž snížily status Nvidia jako jediného poskytovatele pokročilých GPU AI. Alternativní GPU nebo akcelerátor však nemusí stačit, pokud jim chybí srovnatelná paměť, úložiště, síťové a orchestrační schopnosti.
Posun by mohl ovlivnit i výdaje na infrastrukturu. Pokud jsou pohyb a koordinace dat hlavními omezeními, kupující možná bude muset vyhodnotit kompletní racky a systémové architektury, spíše než porovnávat samotné specifikace akcelerátoru. To by mohlo posílit pozici dodavatelů, kteří mohou poskytovat těsně integrovaný hardware a software, a zároveň potenciálně zvýšit složitost a náklady na změnu dodavatele.
Důkazy mají důležité limity. Zprávy TechCrunch zahrnují rozhovory s pracovníky Nvidia a údaje o výkonu poskytnuté vedoucím pracovníkem Nvidia, ale zdroj neposkytuje žádné nezávislé testování, údaje o nasazení zákazníků, ceny, měření spotřeby nebo srovnání s konkurenčními systémy. Zpráva podporuje existenci širší systémové strategie Nvidia, ale nedokazuje, že si společnost udrží trvalé vedení.
Interaktivní mechanismus: Jak to vlastně funguje
Interaktivně prozkoumejte základní technologii tohoto vývoje.
Which component of an AI application is the machine-learning model itself?
Na co se dále dívat
Sledujte, zda Nvidia publikuje nezávislá, reprodukovatelná měření pro systém Vera Rubin, včetně propustnosti end-to-end, spotřeby energie, výkonu paměti a úložiště a podmínek za hlášeným trojnásobným zlepšením. Sledujte, jak reagují Amazon, Google a další velcí cloudoví operátoři. TechCrunch uvádí, že hyperscalery vyvíjejí své vlastní čipy, ale následná konkurence může zahrnovat kompletní systémy pro koordinaci výpočtu, paměti, úložiště a sítě. Sledujte také, zda zákazníci kupují integrovanou infrastrukturu Nvidia jako balíček nebo nahrazují komponenty od více dodavatelů. Zpráva naznačuje, že orchestrace se stává hlavní konkurenční vrstvou, ale nestanoví, jak široce jsou systémy Nvidia dostupné, kolik stojí nebo jak fungují ve výrobě.
Nejužitečnějším dalším důkazem by bylo transparentní testování systémů Vera Rubin třetí stranou. Takové testování by mělo oddělit výkon GPU od zisků přisouzených CPU Vera, flash úložišti, sítím a orchestraci a mělo by vysvětlovat pracovní vytížení a základní úroveň použitou pro jakékoli nárokované zlepšení.
Důležitá bude také dostupnost a podmínky nákupu. Zdroj popisuje architekturu Nvidia a aktuální zavádění, ale neuvádí, kteří zákazníci mohou systémy získat, v jakém množství, za jakou cenu nebo zda lze jednotlivé komponenty smíchat s hardwarem od jiných dodavatelů. Tyto detaily určují, zda je strategie široce praktická, nebo jde především o integrovanou nabídku Nvidia.
Odpovědi konkurentů ukážou, zda se trh posouvá ke konkurenci na systémové úrovni. Poskytovatelé cloudu mohou navrhovat alternativní architektury kolem svých vlastních čipů, zatímco jiní výrobci čipů se mohou zaměřit na paměť, sítě, úložiště nebo propojení, spíše než přímo soutěžit o výkon GPU. Zdroj neidentifikuje konkrétní konkurenční systémy ani neposkytuje důkazy o jejich současných schopnostech.
Design Jalapeño OpenAI je užitečné srovnání, ale nemělo by být považováno za důkaz, že jeden přístup je lepší. Prohlášení OpenAI, které cituje TechCrunch, popisuje snahu omezit pohyb dat uvnitř připojeného čipu. K porovnání tohoto návrhu s modelem distribuované orchestrace Nvidia v rámci skutečného pracovního zatížení, spotřeby energie, spolehlivosti a celkových provozních nákladů je zapotřebí více informací.