DalšíDalší průvodce
AI zubní rentgenová detekce kavity
Vizuální AI
Technický PRŮVODCE
Ray je open-source framework, který usnadňuje škálování úloh Pythonu a AI z notebooku na klastr tisíců strojů.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Je to důležité, protože poskytuje jednoduchý a jednotný způsob distribuce školení, ladění, zpracování dat a poskytování služeb bez přepisování kódu pro každou z nich.
Základní myšlenkou Raye je přeměnit běžné funkce a třídy Pythonu na distribuované jednotky s minimálními změnami. Funkce označená jako vzdálená „úloha“ běží asynchronně na libovolném pracovníkovi v clusteru; třída označená jako „herec“ na dálku se stává státní službou žijící na dělníkovi. Ray vrací odlehčené futures (odkazy na objekty) a zpracovává plánování, přesun dat prostřednictvím úložiště sdílených objektů a odolnost proti chybám. Nad tímto jádrem stojí účelové knihovny: Ray Train pro trénování distribuovaných modelů, Ray Tune pro vyhledávání hyperparametrů, Ray Data pro streamování datových kanálů, RLlib pro posilování učení a Ray Serve pro škálovatelné poskytování modelů. To umožňuje jednomu clusteru zvládnout celý pracovní postup ML od začátku do konce.
Spuštění Ray Tune pro paralelní vyhledávání stovek kombinací hyperparametrů v clusteru GPU za účelem nalezení nejlepší konfigurace modelu
Použití Ray Train k distribuci školení modelu hlubokého učení napříč mnoha GPU a uzly s minimálními změnami kódu
Vytváření dávkového inferenčního kanálu s Ray Data pro získání milionů záznamů jejich streamováním přes model napříč clusterem
Nasazení více modelů za jedním koncovým bodem automatického škálování s Ray Serve pro zpracování variabilního produkčního provozu
Ray se stal páteří pro rozsáhlou umělou inteligenci, která se používá zejména při školení a obsluze velkých jazykových modelů. Očekávejte růst poskytování specifických pro LLM (Ray Serve s vLLM), heterogenní plánování GPU, těsnější integraci s datovými jezery a Kubernetes přes KubeRay a lepší automatické škálování pro špičaté generativní pracovní zátěže. S růstem modelů se pravděpodobně bude rozšiřovat role Raye při organizování víceuzlového tréninku, RLHF potrubí a dávkových inferencí napříč tisíci akcelerátory.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Ray je open-source framework, který usnadňuje škálování úloh Pythonu a AI z notebooku na klastr tisíců strojů. Je to důležité, protože poskytuje jednoduchý a jednotný způsob distribuce školení, ladění, zpracování dat a poskytování služeb bez přepisování kódu pro každou z nich.
Ray poskytuje jednotný a jednoduchý způsob distribuce výpočtů na mnoho počítačů bez přepisování kódu pro každý typ zátěže.
Úlohy jsou bezstavové vzdálené funkce běžící paralelně, zatímco aktéři jsou objekty s dlouhou životností, které udržují stav, jako načtený model.
Ray okamžitě vrací lehkou budoucnost, takže práce běží asynchronně; zavoláte ray.get(), abyste v případě potřeby získali skutečný výsledek.
Ray Tune se specializuje na paralelní provádění mnoha testů hyperparametrů napříč clusterem.
Ray documents zero-copy reads for NumPy arrays stored in the object store when workers on the same node access them. Other values may require deserialization, and data requested across nodes must be transferred.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
AI zubní rentgenová detekce kavity
Vizuální AI