VolgendeVolgende gids
Detectie van tandheelkundige röntgenholten
Visuele AI
Technische GIDS
Ray is een open-sourceframework dat het eenvoudig maakt om Python- en AI-workloads te schalen van een laptop naar een cluster van duizenden machines.
Luister naar deze gidsAI-verteld · ~2 min
It matters because it gives a simple, unified way to distribute training, tuning, data processing, and serving without rewriting your code for each.
Het kernidee van Ray is het omzetten van gewone Python-functies en -klassen in gedistribueerde eenheden met minimale veranderingen. Een functie die is gemarkeerd als een externe 'taak' wordt asynchroon uitgevoerd op elke werknemer in het cluster; een klasse die wordt gemarkeerd als een 'actor' op afstand, wordt een staatsdienst die leeft van een arbeider. Ray retourneert lichtgewicht futures (objectreferenties) en zorgt voor planning, gegevensverplaatsing via een gedeelde objectopslag en fouttolerantie. Bovenop deze kern zitten speciaal gebouwde bibliotheken: Ray Train voor gedistribueerde modeltraining, Ray Tune voor het zoeken naar hyperparameters, Ray Data voor het streamen van datapijplijnen, RLlib voor versterkend leren en Ray Serve voor het aanbieden van schaalbare modellen. Hierdoor kan één cluster een volledige ML-workflow van begin tot eind afhandelen.
Voer Ray Tune uit om honderden hyperparametercombinaties parallel in een GPU-cluster te doorzoeken om de beste modelconfiguratie te vinden
Ray Train gebruiken om de training van een deep learning-model te distribueren over veel GPU's en knooppunten met minimale codewijzigingen
Bouw een batch-inferentiepijplijn met Ray Data om miljoenen records te scoren door ze via een model in een cluster te streamen
Implementatie van meerdere modellen achter één enkel autoscaling-eindpunt met Ray Serve om variabel productieverkeer af te handelen
Ray is een ruggengraat geworden voor grootschalige AI, die met name wordt gebruikt bij het trainen en bedienen van grote taalmodellen. Verwacht groei in LLM-specifieke dienstverlening (Ray Serve met vLLM), heterogene GPU-planning, nauwere integratie met datalakes en Kubernetes via KubeRay, en betere automatische schaling voor piekerige generatieve workloads. Naarmate de modellen groeien, zal de rol van Ray bij het orkestreren van training met meerdere knooppunten, RLHF-pijplijnen en batch-inferentie over duizenden versnellers waarschijnlijk toenemen.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Ray is een open-sourceframework dat het eenvoudig maakt om Python- en AI-workloads te schalen van een laptop naar een cluster van duizenden machines. Het is belangrijk omdat het een eenvoudige, uniforme manier biedt om training, afstemming, gegevensverwerking en service te distribueren zonder dat u uw code voor elk ervan hoeft te herschrijven.
Ray biedt een uniforme, eenvoudige manier om berekeningen over veel machines te verdelen, zonder dat u uw code voor elk werklasttype hoeft te herschrijven.
Taken zijn staatloze externe functies die parallel worden uitgevoerd, terwijl actoren objecten met een lange levensduur zijn die de status behouden, zoals een geladen model.
Ray geeft meteen een lichtgewicht toekomst terug, zodat het werk asynchroon verloopt; u roept ray.get() aan om het daadwerkelijke resultaat op te halen wanneer dat nodig is.
Ray Tune is gespecialiseerd in het parallel uitvoeren van vele hyperparameterproeven in een cluster.
Ray documents zero-copy reads for NumPy arrays stored in the object store when workers on the same node access them. Other values may require deserialization, and data requested across nodes must be transferred.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Detectie van tandheelkundige röntgenholten
Visuele AI