Co się stało
Notebookcheck donosi, że 24 sierpnia na konferencji poświęconej technologii chipów Xring Xiaomi zaprezentowało prototyp inżynieryjny AI Cube. Kompaktowy system łączy w sobie trzy zaprojektowane przez firmę chipy: Xring O3, O100 i D100. Według Notebookcheck Xiaomi twierdzi, że system jest przeznaczony do wdrażania lokalnych modeli AI i może obsługiwać modele 120B i 3B.
Notebookcheck donosi, że Xiaomi pokazało AI Cube jako prototyp inżynieryjny, a nie gotowy produkt detaliczny. Z raportu wynika, że urządzenie zostało zaprezentowane 24 sierpnia na konferencji Xiaomi dotyczącej technologii chipów Xring i jest przeznaczone do lokalnego uruchamiania modeli AI. W artykule wskazano trzy chipy jako Xring O3, O100 i D100 i podano, że system może dostarczyć do 150 watów ciągłej mocy. Liczba ta opisuje kopertę mocy, a nie niezależnie zmierzoną prędkość lub wynik jakości.
Notebookcheck w swoich źródłach powołuje się na konto Lei Jun na Weibo i IT Home. Dostarczone źródło nie obejmuje publicznej strony produktu Xiaomi, niezależnego raportu porównawczego ani niezależnie zweryfikowanego testu systemu. Notebookcheck opisuje, że chipy pełnią oddzielną rolę. Z raportu wynika, że głównym procesorem jest Xring O3, składający się z 10 rdzeni, 16 rdzeni procesora graficznego G2-Ultra NX i deklarowanej mocy NPU 200 TOPS. Mówi się, że O100 jest przeznaczony do obciążeń AI o dużej przepustowości i wykorzystuje 6 nm 3D ułożone w stosy na poziomie płytek, przy czym Xiaomi zapewnia 28 672 efektywnych linii danych i do 1,22 TB/s przepustowości obliczeniowej bliskiej pamięci. Opisywano, że D100 jest przeznaczony do zastosowań wymagających wysokiej wydajności sztucznej inteligencji i inteligentnych napędów, z procesem 3 nm, 20-rdzeniowym procesorem, 16-rdzeniowym procesorem NPU, obsługą do 160 GB zunifikowanej pamięci i lokalnym wdrażaniem modeli z maksymalnie 200 miliardami parametrów. Są to specyfikacje i twierdzenia zgłoszone przez Notebookcheck, a nie ustalenia niezależnie potwierdzone w źródle.
Z raportu wynika, że prototyp Xiaomi może wdrażać zarówno modele 120B, jak i 3B oraz przełączać się między „szybkimi i wolnymi systemami” na potrzeby lokalnego wykorzystania sztucznej inteligencji. Notebookcheck kontrastuje konstrukcję z systemami takimi jak DGX Spark Nvidia i Ascent GX10 firmy Asus, które, jak podano w artykule, oferują 128 GB zunifikowanej pamięci i obsługują modele lokalne z nawet 200 miliardami parametrów. Zgłoszony projekt Xiaomi różni się tym, że łączy trzy własne chipy Xring w jednym systemie. Notebookcheck opisuje również obudowę unibody z aluminium lotniczego i kosmicznego z 33 874 precyzyjnymi perforacjami CNC. W artykule napisano, że materiały z wydarzenia Xiaomi wskazują, że komercyjna premiera modeli O100 i D100 planowana jest na rok 2027, ale nie określono, kiedy sama AI Cube zostanie dostarczona.
Szczegóły źródła: notebookcheck.net ↗
Dlaczego to ma znaczenie
Prototyp wskazuje na bardziej wyspecjalizowane podejście do uruchamiania dużych modeli sztucznej inteligencji poza chmurowymi centrami danych. Notebookcheck twierdzi, że Xiaomi oddziela zadania związane z obliczeniami ogólnymi, przetwarzaniem o dużej przepustowości i sztuczną inteligencją na trzech chipach, potencjalnie umożliwiając kompaktowy system obsługę modeli, które zwykle wymagają znacznego sprzętu serwerowego. Twierdzenia pozostają niezweryfikowane w niezależnych testach.
Centralne znaczenie ma próba wykorzystania stosunkowo dużych modeli AI na maszynie lokalnej. Jeśli specyfikacje Xiaomi przełożą się na niezawodne oprogramowanie i rzeczywistą przepustowość, system tego rodzaju mógłby zmniejszyć zależność niektórych obciążeń od zdalnego wnioskowania. Wykonanie lokalne może mieć znaczenie tam, gdzie organizacje potrzebują mniejszych opóźnień sieci, większej kontroli nad danymi lub kontynuowania pracy bez połączenia z chmurą. Korzyści te to praktyczne możliwości, a nie wyniki przedstawione w dostarczonym raporcie. Notebookcheck nie raportuje niezależnego testu pokazującego, że AI Cube zapewnia określoną szybkość reakcji, poziom dokładności lub przewagę kosztową.
Konstrukcja składająca się z trzech chipów ilustruje również, jak sprzęt AI staje się coraz bardziej wyspecjalizowany. Zamiast polegać na jednym procesorze do każdego zadania, opisana architektura przypisuje ogólne przetwarzanie do O3 i kładzie nacisk na ruch pamięci i obliczenia AI za pośrednictwem O100 i D100. Takie podejście mogłoby pomóc w rozwiązaniu głównego ograniczenia lokalnej sztucznej inteligencji: wydajnego przenoszenia dużych ciężarów modeli i danych pośrednich za pośrednictwem ograniczonej pamięci i połączeń wzajemnych. Jednak użyteczność projektu będzie zależała od sposobu komunikacji chipów, sposobu alokacji pamięci i tego, czy oprogramowanie będzie w stanie podzielić między nimi obciążenia modelowe. Raport Notebookcheck nie zawiera szczegółów implementacji.
Podana pojemność modelu jest godna uwagi, ale nie należy jej mylić z szeroką użytecznością. Twierdzenie, że sprzęt może wdrożyć model zawierający do 200 miliardów parametrów, samo w sobie nie oznacza, że model będzie szybko reagował, mieścił się w praktycznych granicach mocy lub będzie obsługiwał narzędzia potrzebne użytkownikom. Duże modele mogą wymagać kompresji, kwantyzacji lub starannego podziału, a w artykule nie określono, które modele zostały użyte, przy jakich ustawieniach ani przy jakiej jakości wyjściowej. W raporcie nie przedstawiono również planu cenowego, dostępności ani dowodów na to, że prototyp jest gotowy dla konsumentów lub przedsiębiorstw. Jego najwyraźniejsze obecne znaczenie polega na konkretnym sygnale kierunku rozwoju sprzętu lokalnej sztucznej inteligencji Xiaomi.
Mechanizm interaktywny: jak to faktycznie działa
Poznaj interaktywnie technologię leżącą u podstaw tego rozwoju.
A route planner searches possible journeys using explicit rules. What does this illustrate about AI?
Co obejrzeć dalej
Głównymi niewiadomymi są dostępność komercyjna, cena, wsparcie dla oprogramowania i zmierzona wydajność. Notebookcheck donosi, że Xiaomi nie ogłosiło daty premiery ani ceny AI Cube, natomiast materiały z wydarzenia wskazują, że komercyjne premiery O100 i D100 planowane są na 2027 rok. Przyszłe raporty powinny ustalić, czy prototyp stanie się użytecznym produktem i jak radzi sobie z rzeczywistymi modelami.
Pierwszą kwestią, na którą należy zwrócić uwagę, jest to, czy AI Cube stanie się rzeczywistym produktem. Notebookcheck nie podaje daty premiery ani ceny systemu, a artykuł charakteryzuje go jako prototyp inżynieryjny. Materiały Xiaomi z wydarzenia podobno przewidują komercyjną premierę modeli O100 i D100 w 2027 r., ale nie oznacza to, że cały minikomputer będzie sprzedawany według tego samego harmonogramu. Późniejsze ogłoszenie powinno wyjaśnić dostępność regionalną, konfiguracje pamięci, obsługę systemu operacyjnego, oprogramowanie obsługujące modele i to, czy konfiguracja z trzema chipami pozostanie niezmieniona.
Niezależne testy będą niezbędne. Przydatne oceny obejmowałyby pomiar żetonów na sekundę, czas uruchamiania, stałą wydajność, zużycie energii, zachowanie termiczne i hałas w modelach o kilku rozmiarach. Powinny również wyjaśnić, czy zgłaszane wydajności 120B i 200B odnoszą się do modeli w pełni precyzyjnych, modeli skwantowanych czy innych formatów wdrażania. Ponieważ źródło zawiera specyfikacje firmy przekazane przez Notebookcheck, a nie niezależne pomiary, żadnej z tych praktycznych cech nie można jeszcze wywnioskować z podanych wartości TOPS, przepustowości lub mocy.
Szersze pytanie dotyczy tego, czy Xiaomi może zbudować ekosystem wokół swojego sprzętu Xring. Lokalne systemy sztucznej inteligencji potrzebują kompatybilnych modeli, narzędzi programistycznych, oprogramowania do zarządzania pamięcią, aktualizacji i przejrzystej dokumentacji, a nie tylko wydajnego krzemu. Przyszły zakres powinien uwzględniać publiczne wydania oprogramowania, demonstracje z wykorzystaniem nazwanych modeli, powtarzalne testy porównawcze i dowody wdrożeń u klientów. Do tego czasu AI Cube najlepiej będzie rozumieć jako zapowiedź znaczącego prototypu z potencjalnie użytecznymi ambicjami w zakresie wnioskowania lokalnego, a nie jako dowód na to, że pojawił się szeroko dostępny produkt AI dla komputerów stacjonarnych z 200 miliardami parametrów.