Ce sa întâmplat
Registrul raportează o mișcare în creștere către hardware AI personalizat și alternativ. Contul său acoperă sistemul de rack modular CS-4 al Cerebras, rolul în creștere al Marvell în proiectarea acceleratoarelor personalizate, utilizarea continuă de către Google a TPU-urilor specializate și dezvoltarea de către Waymo a unui accelerator de învățare automată pentru vehicule autonome. Raportul descrie, de asemenea, Microsoft restabilirea mai multor funcții de personalizare Windows și monitorizare AI, dar acesta este un fir secundar separat.
Raportul din 24 august al Registrului se concentrează pe ceea ce editorii săi descriu ca o trecere dincolo de rolul dominant al Nvidia în centrele de date AI. Furnizorii împart din ce în ce mai mult sarcinile de lucru între diferite tipuri de siliciu, în loc să se bazeze pe un singur tip de accelerator. Prezintă inferența sau generarea de rezultate din modele antrenate, ca principal punct de presiune: furnizorii doresc rate mari de token pentru asistenții de codare și alte servicii interactive, controlând în același timp costurile de putere și hardware ale deservirii cererilor. Articolul Registrului este o transcriere și o analiză a podcastului, așa că ar trebui citit ca o raportare de la acel punct de vânzare, mai degrabă decât o documentație verificată independent pentru fiecare reclamație tehnică.
Registrul raportează că Cerebras trece de la sisteme mari, monolitice, la designul său la scară de rack CS-4. Sistemele anterioare Cerebras au plasat un cip mare, la scară de napolitană, consumator de energie, într-un șasiu autonom răcit cu lichid. Noua abordare plasează trei cipuri într-un aranjament modular de rack, permițând înlocuirea componentelor de calcul fără a înlocui echipamentele asociate de livrare a energiei. Registrul spune că designul dublează viteza de ceas, lățimea de bandă a memoriei și viteza de intrare-ieșire, în timp ce plasează de trei ori mai mult siliciu într-un rack. De asemenea, se spune că Cerebras are parteneriate cu AWS și AMD și că generarea rapidă de token a atras interesul pentru asistenții de codare și alte servicii de inferență.
Raportul descrie un ecosistem mai larg de siliciu personalizat în jurul hiperscalarelor: Google și-a folosit propriile unități de procesare Tensor încă din 2015 și s-a bazat pe Broadcom pentru porțiuni de design personalizat de accelerator, în timp ce Marvell devine un concurent în XPU personalizat și munca de conectivitate după construirea unui portofoliu de proprietate intelectuală prin achiziții. Articolul încadrează acest lucru ca o modalitate pentru companiile de cloud de a compara furnizorii sau de a reduce dependența de un singur partener de proiectare, dar nu documentează un nou contract specific Google-Marvell; afirmațiile despre strategiile viitoare ale clienților și presiunea prețurilor sunt comentarii, nu evoluții stabilite. Waymo a dezvăluit un accelerator personalizat de învățare automată destinat vehiculelor, deoarece volumul senzorului și latența scăzută contează atunci când apare un obstacol. Registrul spune că Waymo s-a bazat în mare măsură pe rețele de porți programabile în teren și ar putea căuta o densitate mai mare de calcul și o dezvoltare mai ușoară a unui circuit integrat specific aplicației, dar nu oferă specificații, rezultate ale testării, calendar de producție sau înregistrare de siguranță. Separat, Microsoft testează barele de activități mobile din Windows 11, meniurile contextuale mai personalizabile și vizibilitatea Managerului de activități în sarcinile de lucru ale unităților de procesare neuronală.
Detalii sursa: theregister.com ↗
De ce contează
Schimbarea ar putea face ca infrastructura AI să fie mai puțin dependentă de o clasă de GPU Nvidia și să pună mai mult accent pe hardware-ul conceput pentru anumite sarcini de lucru de inferență. Timpi de răspuns mai rapizi, costuri de operare mai mici, eficiență energetică mai bună și integrare mai strânsă cu senzorii sunt obiectivele practice descrise de The Register. Raportul nu stabilește că vreo alternativă a depășit cu mult Nvidia în implementările din lumea reală.
Semnificația practică este că performanța AI nu este determinată doar de model. Raportarea Registrului arată vânzătorilor care optimizează hardware-ul sub inferență pentru anumite constrângeri: viteza de generare a token-ului pentru instrumente interactive, putere și răcire pentru rafturile centrelor de date și latența pentru controlul vehiculului. Dacă aceste design-uri funcționează la scară, companiile ar putea alege diferite acceleratoare pentru instruire, inferențe de mare volum, solicitări premium cu latență scăzută și sarcini de lucru limită. Acest lucru ar face piața infrastructurii AI mai specializată și ar putea oferi clienților mai multe alternative la sistemele GPU de uz general.
Reproiectarea rack-ului raportată de Cerebras evidențiază o problemă operațională care poate fi omisă în declarațiile de performanță. Registrul spune că sistemele anterioare consumau aproximativ 15 kilowați pentru cip și calculau împreună cu echipamente de livrare a energiei într-un șasiu mare. Un rack modular ar putea face reparațiile și upgrade-urile mai puțin perturbatoare, chiar dacă siliciul rămâne neobișnuit de consumator de energie. Pentru operatorii de centre de date, funcționalitatea, cablarea, răcirea și capacitatea de a înlocui o componentă defectă pot conta la fel de mult ca debitul maxim. Sursa nu verifică în mod independent cifrele de putere sau performanță raportate, astfel încât aceste beneficii rămân revendicări care necesită o revizuire tehnică.
O bază mai largă de furnizori ar putea afecta puterea de negociere și deciziile de investiții. Registrul sugerează că companiile din cloud folosesc adesea firme de proprietate intelectuală din afara pentru părți mai puțin distinctive ale cipurilor personalizate, concentrând în același timp ingineria internă pe caracteristicile relevante pentru serviciile lor. Concurența dintre Broadcom și Marvell le-ar putea oferi hiperscalerilor o altă cale de design, dar siliciul personalizat creează, de asemenea, obligații de software și suport. Un cip eficient pentru o sarcină de lucru poate fi dificil de programat, greu de procurat sau prost potrivit pentru altul. Raportul nu oferă nicio comparație a costurilor cu sistemele Nvidia și nicio dovadă că clienții se schimbă la scară largă. Exemplul lui Waymo conectează hardware-ul personalizat AI la o implementare sensibilă la siguranță, mai degrabă decât doar economia centrului de date: latența scăzută contează atunci când un vehicul răspunde la intrarea senzorului, iar intervenția umană de la distanță nu este un substitut ideal pentru procesarea imediată la bord. Acest lucru nu demonstrează o siguranță îmbunătățită; nu există o evaluare independentă, o comparație a ratei de eșec sau o evaluare de reglementare. Concluzia mai restrânsă este că vehiculele autonome oferă un motiv pentru a proiecta siliciul în jurul procesării senzorilor și a timpului de răspuns, în timp ce impactul publicului depinde de validarea în condiții reale de funcționare.
Mecanism interactiv: cum funcționează de fapt
Explorați tehnologia care stau la baza acestei dezvoltări în mod interactiv.
crm_get_transaction(id='4092').Which component of an AI application is the machine-learning model itself?
Ce să urmărești în continuare
Testele cheie sunt documentația tehnică publică, benchmark-urile independente și dovezile utilizării la scară de către clienți. Urmăriți dacă noul design al rackului Cerebras, acceleratoarele personalizate susținute de Marvell și siliciul pentru vehicule Waymo ajung în producție și dacă beneficiile acestora depășesc costurile software, lanțului de aprovizionare și de întreținere. Modificările Windows Microsoft ar trebui, de asemenea, evaluate în funcție de disponibilitatea publică și dacă îmbunătățesc controlul utilizatorului, mai degrabă decât să adauge pur și simplu mai multă monitorizare a sistemului.
În primul rând, căutați material tehnic primar de la Cerebras, Waymo, Google, Marvell sau clienții acestora. Dovezi utile ar include documente de arhitectură, măsurători de putere, suport software, starea producției și teste clar definite ale sarcinii de lucru. Raportul Registrului furnizează o hartă demnă de știri a companiilor implicate, dar nu stabilește disponibilitatea, prețurile, volumul clienților sau performanța independentă. Aceste detalii lipsă determină dacă evoluțiile sunt mișcări ale industriei sau în principal planuri de inginerie.
În al doilea rând, comparați ca și cum ar fi. Cifrele token-pe-secundă pot varia în funcție de dimensiunea modelului, loturile, precizia, lungimea contextului și numărul de utilizatori simultani. Un accelerator personalizat poate fi excelent pentru un model de inferență restrâns și mai puțin util pentru sarcinile generale de lucru. Urmăriți teste independente care măsoară debitul, latența de răspuns, energia per token generat, utilizarea, fiabilitatea și costul total de proprietate față de sistemele GPU contemporane. Fără acest context, afirmațiile privind IA mai rapidă sau mai ieftină rămân dificil de evaluat. În al treilea rând, urmăriți relațiile comerciale: The Register raportează parteneriatele Cerebras cu AWS și AMD și descrie Marvell ca intrând într-un domeniu dominat anterior de Broadcom și echipele interne de hyperscaler. Următoarea dovadă importantă va fi dacă aceste relații produc servicii general accesibile, implementări denumite sau comenzi repetate. Așteptările raportului că AWS sau serviciile AMD pot utiliza hardware-ul Cerebras este un comentariu de perspectivă, nu o lansare confirmată și nu ar trebui tratată ca una.
În cele din urmă, monitorizați separat implementarea vehiculului Waymo și modificările software-ului Microsoft. Pentru Waymo, întrebările semnificative sunt dacă acceleratorul este instalat în vehiculele de serie, cum gestionează sarcinile de lucru ale senzorilor, ce sisteme de rezervă există și ce validare a siguranței a fost finalizată. Pentru Windows, The Register spune că mișcarea barei de activități este în canalul Release Preview și se dezvoltă o vizibilitate îmbunătățită a procesului NPU, dar calendarul public și comportamentul final se pot schimba. Niciunul dintre fire nu ar trebui să fie prezentat ca fiind complet până când companiile publică disponibilitate stabilă și utilizatorii independenți pot evalua rezultatele.