NastępnyNastępny poradnik
Wykrywanie ubytków zębów za pomocą promieni rentgenowskich AI
Wizualna sztuczna inteligencja
PRZEWODNIK techniczny
Ray dla rozproszonej sztucznej inteligencji
Ray to platforma typu open source, która ułatwia skalowanie obciążeń Pythona i sztucznej inteligencji z laptopa na klaster tysięcy maszyn.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~2 min
Na tej stronie2 minuty czytania
Przegląd
It matters because it gives a simple, unified way to distribute training, tuning, data processing, and serving without rewriting your code for each.
Głębokie nurkowanie
Podstawową ideą Raya jest przekształcenie zwykłych funkcji i klas Pythona w jednostki rozproszone przy minimalnych zmianach. Funkcja oznaczona jako zdalne „zadanie” działa asynchronicznie na dowolnym procesie roboczym w klastrze; klasa oznaczona jako zdalny „aktor” staje się usługą stanową utrzymującą się z pracownika. Ray zwraca lekkie kontrakty futures (odniesienia do obiektów) i obsługuje planowanie, przenoszenie danych za pośrednictwem magazynu obiektów współdzielonych oraz odporność na błędy. Oprócz tego rdzenia znajdują się specjalnie zaprojektowane biblioteki: Ray Train do uczenia modeli rozproszonych, Ray Tune do wyszukiwania hiperparametrów, Ray Data do strumieniowych potoków danych, RLlib do uczenia się przez wzmacnianie i Ray Serve do udostępniania skalowalnych modeli. Dzięki temu jeden klaster może obsłużyć cały przepływ pracy ML od początku do końca.
Implementacja w świecie rzeczywistym
Uruchamianie aplikacji Ray Tune w celu równoległego przeszukiwania setek kombinacji hiperparametrów w klastrze GPU w celu znalezienia najlepszej konfiguracji modelu
Używanie Ray Train do dystrybucji uczenia modelu głębokiego uczenia się na wiele procesorów graficznych i węzłów przy minimalnych zmianach kodu
Tworzenie potoku wnioskowania wsadowego za pomocą Ray Data w celu gromadzenia milionów rekordów poprzez przesyłanie strumieniowe ich przez model w klastrze
Wdrażanie wielu modeli w jednym punkcie końcowym z funkcją automatycznego skalowania za pomocą usługi Ray Serve do obsługi zmiennego ruchu produkcyjnego
Przyszłość Ray dla rozproszonej sztucznej inteligencji
Ray stał się podstawą wielkoskalowej sztucznej inteligencji, wykorzystywanej zwłaszcza do szkolenia i obsługi dużych modeli językowych. Spodziewaj się rozwoju obsługi specyficznej dla LLM (Ray Serve z vLLM), heterogenicznego planowania GPU, ściślejszej integracji z jeziorami danych i Kubernetes za pośrednictwem KubeRay oraz lepszego automatycznego skalowania w przypadku gwałtownych obciążeń generatywnych. W miarę rozwoju modeli rola Raya w organizowaniu uczenia wielowęzłowego, potoków RLHF i wnioskowania wsadowego w tysiącach akceleratorów będzie prawdopodobnie rosnąć.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Koszt i budżet. Decyzje dotyczące architektury wpływają na wydajność i koszty operacyjne przez lata.
- Jaśniejsze decyzje. Edukacja techniczna pomaga zespołom wybrać odpowiedni stos, a nie tylko najnowszy.
- Kontrola jakości. Lepsze wybory inżynieryjne zmniejszają liczbę incydentów związanych z niezawodnością w produkcji.
Uważaj na
- Optymalizacja jednego testu porównawczego może ukryć szersze słabości systemu.
- Koszty infrastruktury i utrzymania są często niedoszacowane.
- W miarę jak systemy stają się coraz bardziej złożone, luki w bezpieczeństwie i obserwowalności mogą się zwiększać.
Kolejne kroki
- Przed wdrożeniem zdefiniuj docelowe opóźnienia, jakość i koszty.
- Test porównawczy w realistycznych warunkach obciążenia i danych.
- Monitorowanie przyrządu pod kątem błędów, dryftu i wpływu użytkownika.
- Przed skalowaniem przygotuj ścieżki wycofywania zmian i reakcji na incydenty.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the Ray for Distributed AI quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
What is Ray for Distributed AI?
Ray to platforma typu open source, która ułatwia skalowanie obciążeń Pythona i sztucznej inteligencji z laptopa na klaster tysięcy maszyn. Ma to znaczenie, ponieważ zapewnia prosty, ujednolicony sposób dystrybucji szkoleń, dostrajania, przetwarzania danych i udostępniania bez konieczności przepisywania kodu dla każdego z nich.
Jaki problem rozwiązuje przede wszystkim Ray?
Ray zapewnia ujednolicony, prosty sposób dystrybucji obliczeń na wiele maszyn bez konieczności przepisywania kodu dla każdego typu obciążenia.
Jaka jest w przypadku Raya różnica między „zadaniem” a „aktorem”?
Zadania to bezstanowe, zdalne funkcje uruchamiane równolegle, a aktorzy to długotrwałe obiekty, które przechowują stan, jak załadowany model.
Co Ray zwraca natychmiast po uruchomieniu zadania zdalnego?
Ray natychmiast przywraca lekką przyszłość, więc praca przebiega asynchronicznie; wywołujesz metodę ray.get(), aby w razie potrzeby pobrać rzeczywisty wynik.
Która biblioteka Ray jest przeznaczona do rozproszonego wyszukiwania hiperparametrów?
Ray Tune specjalizuje się w równoległym prowadzeniu wielu testów hiperparametrycznych w klastrze.
Which object type do Ray’s docs explicitly say can be read from same-node object-store memory without a copy?
Ray documents zero-copy reads for NumPy arrays stored in the object store when workers on the same node access them. Other values may require deserialization, and data requested across nodes must be transferred.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat