Co się stało
27 sierpnia Meta opublikował wyjaśnienie opisujące, w jaki sposób chłodzi serwery AI o dużej gęstości. Firma twierdzi, że jej najnowsze centra danych zoptymalizowane pod kątem sztucznej inteligencji wykorzystują głównie chłodzenie cieczą w obiegu zamkniętym, natomiast uczenie się przez wzmacnianie jest wykorzystywane w symulacjach i pilotażach w celu optymalizacji operacji chłodzenia.
Meta twierdzi, że rosnąca moc i moc cieplna sprzętu AI sprawia, że konwencjonalne chłodzenie powietrzem jest mniej wydajne w przypadku gęstych wdrożeń serwerów. Firma porównuje nowszą infrastrukturę AI z wcześniejszym przykładem centrum danych w Altoona w stanie Iowa, gdzie stojaki zawierające 16 procesorów graficznych Nvidia H100 były całkowicie chłodzone powietrzem i zużywały minimalną ilość wody. Według Meta nowsze projekty sprzętu zwiększyły potrzebę zastosowania innego podejścia. Głównym twierdzeniem artykułu jest to, że chłodzenie jest ważną częścią infrastruktury AI, a nie tylko szczegółem usług budowlanych.
Opisany przez Meta system powoduje cyrkulację mieszaniny wody i glikolu bezpośrednio przez sprzęt serwerowy w celu odprowadzania ciepła z szaf serwerowych. Wymienniki ciepła następnie przekazują ciepło z chłodziwa, zanim ta sama mieszanina powróci do serwerów w ciągłej pętli. Meta twierdzi, że płyn nie jest wydalany z obiektu i oczekuje, że płyn chłodzący będzie działał bez wymiany nawet przez dziesięć lat. Firma twierdzi, że tam, gdzie w budynku brakuje zintegrowanej infrastruktury chłodzenia cieczą, stosuje się chłodzenie cieczą wspomagane powietrzem: rozproszone szafy zawierające pompy i wymienniki ciepła, które zapewniają ten sam podstawowy proces w pętli zamkniętej na mniejszą skalę.
Meta argumentuje również, że chłodzenie cieczą może poprawić gęstość fizyczną. Wyjaśnienie twierdzi, że chłodzenie powietrzem tych samych serwerów wymagałoby prawie dwukrotnie większej przestrzeni na tacy serwerowej ze względu na dodatkowy sprzęt chłodzący. Z kolei bezpośrednie chłodzenie cieczą umożliwia umieszczenie większej liczby procesorów graficznych w tej samej szafie, zmniejszając liczbę szaf potrzebnych w obiekcie o danej mocy obliczeniowej. Meta twierdzi ponadto, że typowe centrum danych zoptymalizowane pod kątem sztucznej inteligencji, korzystające z chłodzenia w obiegu zamkniętym i chłodnic suchych, zużywa mniej wody rocznie niż kilka restauracji oferujących pełen zakres usług, ale nie podaje rocznych wielkości ani dokładnej podstawy do tego porównania.
W artykule dodano komponent oprogramowania. Meta twierdzi, że inżynierowie zbudowali oparty na fizyce symulator centrum danych, który modeluje pogodę, obciążenie serwerów i zachowanie sprzętu chłodzącego. Uczenie się przez wzmacnianie może testować decyzje dotyczące chłodzenia w tym symulowanym środowisku, zamiast najpierw eksperymentować na działającym obiekcie. Meta twierdzi, że podejście zostało rozszerzone z eksperymentu na centra danych chłodzone powietrzem w całej flocie firmy oraz że pilotaż w jednym zakładzie obniżył zużycie energii przez wentylatory nawiewne chłodzone powietrzem średnio o 20%, jednocześnie zmniejszając zużycie wody o 4% w różnych warunkach pogodowych. Źródło nie podaje lokalizacji pilotażowej, czasu jej trwania, bazowego zużycia ani liczby obiektów objętych szerszym wdrożeniem.
Szczegóły źródła: about.fb.com ↗
Dlaczego to ma znaczenie
Chłodzenie staje się praktycznym ograniczeniem, ponieważ sprzęt AI generuje więcej ciepła i wymaga gęstszych wdrożeń. Relacja Meta sugeruje, że chłodzenie cieczą i optymalizacja oparta na oprogramowaniu mogą mieć wpływ na wymagania dotyczące energii, wody, przestrzeni i infrastruktury dużych obiektów obliczeniowych AI, chociaż zgłoszone wyniki pochodzą z Meta i jednego pilotażu.
Infrastrukturę sztucznej inteligencji często omawia się w kontekście chipów i energii elektrycznej, ale źródło zwraca uwagę na mniej widoczne fizyczne wąskie gardło: usuwanie ciepła z ciasno upakowanego sprzętu komputerowego. Jeśli chłodzenie cieczą umożliwi umieszczenie większej liczby procesorów graficznych w tej samej szafie, operatorzy będą mogli zwiększyć moc obliczeniową bez zwiększania powierzchni budynku w tym samym tempie. Może to mieć wpływ na projekt i koszt obiektów wykorzystywanych do szkolenia i obsługi systemów sztucznej inteligencji.
Zużycie wody jest przedmiotem zainteresowania opinii publicznej w centrach danych, ale źródło słusznie przedstawia je jako zależne od projektu chłodzenia, a nie od automatycznej funkcji obliczeń AI. Opis zamkniętego obiegu Meta wskazuje, że woda może pełnić przede wszystkim funkcję recyrkulującego chłodziwa, zamiast być stale zużywana lub odprowadzana. To rozróżnienie jest praktycznie ważne dla społeczności oceniających proponowane obiekty, chociaż porównanie restauracji w artykule nie wystarczy, aby ustalić całkowity wpływ floty centrów danych Meta na wodę.
Zgłoszony projekt pilotażowy dotyczący uczenia się przez wzmacnianie jest istotny, ponieważ łączy metody sztucznej inteligencji z działaniem infrastruktury sztucznej inteligencji. Modelu nie opisuje się jako kontrolującego system ogólnego przeznaczenia lub podejmującego bez nadzoru decyzje dotyczące usług publicznych; służy do testowania strategii chłodzenia w symulatorze reprezentującym warunki fizyczne. Meta twierdzi, że w ramach pilotażu wynikająca z tego polityka zmniejszyła zużycie energii wentylatorów średnio o 20% i zużycie wody o 4%. W przypadku replikacji taka optymalizacja może obniżyć koszty operacyjne i zapotrzebowanie na zasoby bez konieczności zmiany podstawowego obciążenia AI.
Źródło opisuje również ścieżkę podziału branży. Meta twierdzi, że jego projekt Open Project, założony w 2011 r., ma na celu uczynienie infrastruktury centrum danych bardziej wydajną, skalowalną i zrównoważoną, i zauważa, że w 2025 r. firma ogłosiła wprowadzenie chłodzonej cieczą platformy sieciowej IcePack do bezpłatnego udostępniania w ramach tego projektu. To wcześniejsze ogłoszenie stanowi raczej tło niż nową wiadomość w tym artykule. Nowym, aktualnym wkładem jest szczegółowe wyjaśnienie architektury chłodzenia autorstwa Meta i opis wyników uczenia się przez wzmacnianie, a nie wprowadzenie na rynek nowego produktu lub niezależnie zweryfikowany standard ogólnobranżowy.
Mechanizm interaktywny: jak to faktycznie działa
Poznaj interaktywnie technologię leżącą u podstaw tego rozwoju.
Which component of an AI application is the machine-learning model itself?
Co obejrzeć dalej
Kluczowe pytania brzmią: czy zgłoszone oszczędności Meta utrzymają się w większej liczbie lokalizacji, klimatów i obciążeń oraz ile wody i energii zużywają systemy w wartościach bezwzględnych. Uważaj na niezależną walidację, szczegóły dotyczące skali wdrożenia i dowody na to, że otwarte projekty i metody uczenia się przez wzmacnianie są przydatne poza własnymi obiektami Meta.
Najważniejszym ograniczeniem jest weryfikacja. Wszystkie dane dotyczące wydajności podane w źródle są własnymi twierdzeniami Meta, a artykuł nie cytuje niezależnego audytu, recenzowanego badania ani pomiarów spoza firmy. Dlatego też redukcję zużycia energii przez wentylator o 20% i redukcję zużycia wody o 4% należy traktować jako zgłoszone wyniki pilotażowe, a nie ogólnie ustalone wyniki dla centrów danych AI. Przyszłe raporty powinny uwzględniać miejsce pilotażu, czas trwania, zakres pogody, profil obciążenia pracą, pomiary bazowe i zmienność statystyczną.
Całkowite wykorzystanie zasobów pozostaje nieznane. Meta zapewnia względne obniżki i porównanie z dwiema restauracjami oferującymi pełen zakres usług, ale nie podaje rocznego zużycia wody, zużycia energii elektrycznej, obciążenia chłodniczego ani całkowitej liczby procesorów graficznych w centrum danych. Porównanie nie wyjaśnia również, czy uwzględnia wodę wykorzystywaną w innym miejscu obiektu, czy też do wytwarzania energii elektrycznej. Bez tych danych czytelnicy nie są w stanie obliczyć skali oszczędności ani porównać systemu z innymi konstrukcjami chłodniczymi.
Zakres wdrożenia to kolejne otwarte pytanie. Meta twierdzi, że większość jego najnowszych centrów danych zoptymalizowanych pod kątem sztucznej inteligencji wykorzystuje chłodzenie cieczą w obiegu zamkniętym, a podejście polegające na uczeniu się przez wzmacnianie zostało skalowane do centrów danych chłodzonych powietrzem znajdujących się w jego flocie, ale nie określa, ile obiektów jest nimi objętych ani czy systemy działają w sposób ciągły. Firma twierdzi również, że płyn chłodzący może wystarczyć nawet na dziesięć lat, a oczekiwanie to może zależeć od konserwacji, kontroli zanieczyszczeń, konstrukcji sprzętu i lokalnych warunków pracy, których źródło nie omawia.
Szerszym testem będzie sprawdzenie, czy podejście wykracza poza Meta. Wydajność w pętli zamkniętej może się różnić w zależności od klimatu, projektu budynku, generacji sprzętu, konfiguracji szafy i obciążenia. Systemy wspomagane powietrzem mogą być przydatne w przypadku modernizacji, ale źródło nie dostarcza danych porównawczych dotyczących kosztów, niezawodności ani konserwacji. Zwróć uwagę na niezależne pomiary, ujawnienia od organizacji korzystających z IcePack lub podobnych projektów oraz dowody na to, że zasady chłodzenia wytrenowane za pomocą symulacji pozostają bezpieczne, gdy warunki nie mieszczą się w modelowanych scenariuszach. Nie jest również jasne, czy w przyszłości sprzęt AI o większej gęstości mocy zachowa zgłaszany wzrost wydajności, czy też stworzy nowe wymagania dotyczące chłodzenia.