À suivreGuide suivant
AI Dental X-Ray Cavity Detection
IA visuelle
GUIDE Technique
Ray pour l'IA distribuée
Ray est un framework open source qui facilite la mise à l'échelle des charges de travail Python et IA d'un ordinateur portable à un cluster de milliers de machines.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
C'est important car cela offre un moyen simple et unifié de distribuer la formation, le réglage, le traitement des données et le service sans réécrire votre code pour chacun.
Plongée profonde
L'idée principale de Ray est de transformer les fonctions et classes Python ordinaires en unités distribuées avec un minimum de changements. Une fonction marquée comme « tâche » distante s'exécute de manière asynchrone sur n'importe quel travailleur du cluster ; une classe marquée comme « acteur » distant devient un service avec état vivant sur un travailleur. Ray renvoie des contrats à terme légers (références d'objet) et gère la planification, le mouvement des données via un magasin d'objets partagé et la tolérance aux pannes. En plus de ce noyau se trouvent des bibliothèques spécialement conçues : Ray Train pour la formation de modèles distribués, Ray Tune pour la recherche d'hyperparamètres, Ray Data pour les pipelines de données en streaming, RLlib pour l'apprentissage par renforcement et Ray Serve pour le service de modèles évolutifs. Cela permet à un cluster de gérer l’intégralité d’un flux de travail ML de bout en bout.
Mise en œuvre dans le monde réel
Exécution de Ray Tune pour rechercher des centaines de combinaisons d'hyperparamètres en parallèle sur un cluster GPU afin de trouver la meilleure configuration de modèle
Utiliser Ray Train pour distribuer la formation d'un modèle d'apprentissage profond sur de nombreux GPU et nœuds avec un minimum de modifications de code
Création d'un pipeline d'inférence par lots avec Ray Data pour évaluer des millions d'enregistrements en les diffusant via un modèle sur un cluster
Déployer plusieurs modèles derrière un seul point de terminaison d'autoscaling avec Ray Serve pour gérer un trafic de production variable
L'avenir de Ray pour l'IA distribuée
Ray est devenu l'épine dorsale de l'IA à grande échelle, notamment utilisée dans la formation et au service de grands modèles de langage. Attendez-vous à une croissance du service spécifique au LLM (Ray Serve avec vLLM), à une planification GPU hétérogène, à une intégration plus étroite avec les lacs de données et Kubernetes via KubeRay et à une meilleure mise à l'échelle automatique pour les charges de travail génératives pointues. À mesure que les modèles se développent, le rôle de Ray dans l'orchestration de la formation multi-nœuds, des pipelines RLHF et de l'inférence par lots sur des milliers d'accélérateurs est susceptible de s'étendre.
Le mettre en pratique
Pourquoi c'est important
- Coût et budget. Les décisions en matière d'architecture déterminent les performances et les coûts d'exploitation pendant des années.
- Décisions plus claires. La formation technique aide les équipes à choisir la bonne pile, pas seulement la plus récente.
- Contrôle qualité. De meilleurs choix d’ingénierie réduisent les incidents de fiabilité en production.
Attention à
- L’optimisation d’un benchmark peut masquer des faiblesses plus larges du système.
- Les coûts d’infrastructure et de maintenance sont souvent sous-estimés.
- Les lacunes en matière de sécurité et d’observabilité peuvent se creuser à mesure que les systèmes deviennent plus complexes.
Prochaines étapes
- Définissez les objectifs de latence, de qualité et de coût avant la mise en œuvre.
- Benchmark dans des conditions de charge et de données réalistes.
- Surveillance des instruments pour détecter les erreurs, la dérive et l'impact sur l'utilisateur.
- Préparez les chemins de restauration et de réponse aux incidents avant la mise à l’échelle.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Ray for Distributed AI quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
Qu'est-ce que Ray pour l'IA distribuée ?
Ray est un framework open source qui facilite la mise à l'échelle des charges de travail Python et IA d'un ordinateur portable à un cluster de milliers de machines. C'est important car cela offre un moyen simple et unifié de distribuer la formation, le réglage, le traitement des données et le service sans réécrire votre code pour chacun.
Quel problème Ray résout-il principalement ?
Ray fournit un moyen simple et unifié de répartir les calculs sur de nombreuses machines sans réécrire votre code pour chaque type de charge de travail.
Dans Ray, quelle est la différence entre une « tâche » et un « acteur » ?
Les tâches sont des fonctions distantes sans état exécutées en parallèle, tandis que les acteurs sont des objets de longue durée qui conservent leur état, comme un modèle chargé.
Que renvoie Ray immédiatement lorsque vous lancez une tâche distante ?
Ray renvoie immédiatement un futur léger afin que le travail s'exécute de manière asynchrone ; vous appelez ray.get() pour récupérer le résultat réel en cas de besoin.
Quelle bibliothèque Ray est conçue pour la recherche distribuée d'hyperparamètres ?
Ray Tune est spécialisé dans l'exécution de nombreux essais d'hyperparamètres en parallèle sur un cluster.
Which object type do Ray’s docs explicitly say can be read from same-node object-store memory without a copy?
Ray documents zero-copy reads for NumPy arrays stored in the object store when workers on the same node access them. Other values may require deserialization, and data requested across nodes must be transferred.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet