ΕπόμενοΕπόμενος οδηγός
AI Οδοντιατρική Ανίχνευση κοιλότητας με ακτίνες Χ
Οπτική τεχνητή νοημοσύνη
Τεχνικός ΟΔΗΓΟΣ
Ray for Distributed AI
Το Ray είναι ένα πλαίσιο ανοιχτού κώδικα που διευκολύνει την κλιμάκωση του φόρτου εργασίας Python και AI από έναν φορητό υπολογιστή σε ένα σύμπλεγμα χιλιάδων μηχανών.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
Έχει σημασία γιατί παρέχει έναν απλό, ενοποιημένο τρόπο διανομής εκπαίδευσης, συντονισμού, επεξεργασίας δεδομένων και προβολής χωρίς να ξαναγράψετε τον κώδικά σας για καθεμία.
Βαθιά κατάδυση
Η βασική ιδέα του Ray είναι να μετατρέψει τις συνηθισμένες συναρτήσεις και κλάσεις Python σε κατανεμημένες μονάδες με ελάχιστη αλλαγή. Μια συνάρτηση που επισημαίνεται ως απομακρυσμένη «εργασία» εκτελείται ασύγχρονα σε οποιονδήποτε εργαζόμενο στο σύμπλεγμα. μια τάξη που χαρακτηρίζεται ως απομακρυσμένος «ηθοποιός» γίνεται μια κρατική υπηρεσία που ζει από έναν εργαζόμενο. Το Ray επιστρέφει ελαφριά συμβόλαια μελλοντικής εκπλήρωσης (αναφορές αντικειμένων) και χειρίζεται τον προγραμματισμό, τη μετακίνηση δεδομένων μέσω κοινόχρηστου χώρου αποθήκευσης αντικειμένων και την ανοχή σφαλμάτων. Πάνω από αυτόν τον πυρήνα βρίσκονται οι στοχευμένες βιβλιοθήκες: Ray Train για εκπαίδευση κατανεμημένων μοντέλων, Ray Tune για αναζήτηση υπερπαραμέτρων, Ray Data για αγωγούς δεδομένων ροής, RLlib για ενισχυτική εκμάθηση και Ray Serve για κλιμακούμενη εξυπηρέτηση μοντέλων. Αυτό επιτρέπει σε ένα σύμπλεγμα να χειρίζεται μια ολόκληρη ροή εργασίας ML από άκρη σε άκρη.
Υλοποίηση σε πραγματικό κόσμο
Εκτέλεση Ray Tune για αναζήτηση εκατοντάδων συνδυασμών υπερπαραμέτρων παράλληλα σε ένα σύμπλεγμα GPU για να βρείτε την καλύτερη διαμόρφωση μοντέλου
Χρήση του Ray Train για τη διανομή της εκπαίδευσης ενός μοντέλου βαθιάς μάθησης σε πολλές GPU και κόμβους με ελάχιστες αλλαγές κώδικα
Κατασκευή ενός αγωγού συμπερασμάτων παρτίδας με Ray Data για τη συγκέντρωση εκατομμυρίων εγγραφών μέσω ροής μέσω ενός μοντέλου σε ένα σύμπλεγμα
Ανάπτυξη πολλαπλών μοντέλων πίσω από ένα μόνο τελικό σημείο αυτόματης κλιμάκωσης με το Ray Serve για τη διαχείριση μεταβλητής κίνησης παραγωγής
The Future of Ray for Distributed AI
Το Ray έχει γίνει η ραχοκοκαλιά για μεγάλης κλίμακας τεχνητή νοημοσύνη, που χρησιμοποιείται κυρίως στην εκπαίδευση και την εξυπηρέτηση μεγάλων γλωσσικών μοντέλων. Αναμένετε ανάπτυξη της υπηρεσίας ειδικά για LLM (Ray Serve με vLLM), ετερογενή προγραμματισμό GPU, στενότερη ενοποίηση με τις λίμνες δεδομένων και το Kubernetes μέσω KubeRay και καλύτερη αυτόματη κλιμάκωση για αιχμηρούς φόρτους εργασίας. Καθώς τα μοντέλα μεγαλώνουν, ο ρόλος του Ray στην ενορχήστρωση της εκπαίδευσης πολλαπλών κόμβων, των αγωγών RLHF και των συμπερασμάτων παρτίδας σε χιλιάδες επιταχυντές είναι πιθανό να επεκταθεί.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Κόστος και προϋπολογισμός. Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
- Σαφέστερες αποφάσεις. Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
- Ελεγχος ποιότητας. Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Προσέξτε
- Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
- Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
- Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Επόμενα βήματα
- Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
- Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
- Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
- Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Ray for Distributed AI quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
Τι είναι το Ray for Distributed AI;
Το Ray είναι ένα πλαίσιο ανοιχτού κώδικα που διευκολύνει την κλιμάκωση του φόρτου εργασίας Python και AI από έναν φορητό υπολογιστή σε ένα σύμπλεγμα χιλιάδων μηχανών. Έχει σημασία γιατί παρέχει έναν απλό, ενοποιημένο τρόπο διανομής εκπαίδευσης, συντονισμού, επεξεργασίας δεδομένων και προβολής χωρίς να ξαναγράψετε τον κώδικά σας για το καθένα.
Ποιο πρόβλημα λύνει κυρίως ο Ray;
Το Ray παρέχει έναν ενοποιημένο, απλό τρόπο διανομής υπολογισμών σε πολλά μηχανήματα χωρίς να ξαναγράψετε τον κώδικά σας για κάθε τύπο φόρτου εργασίας.
Στο Ray, ποια είναι η διαφορά μεταξύ ενός «καθήκοντος» και ενός «ηθοποιού»;
Οι εργασίες είναι απομακρυσμένες λειτουργίες χωρίς κατάσταση που εκτελούνται παράλληλα, ενώ οι ηθοποιοί είναι αντικείμενα μεγάλης διάρκειας ζωής που διατηρούν την κατάσταση, όπως ένα φορτωμένο μοντέλο.
Τι επιστρέφει αμέσως ο Ray όταν εκκινείτε μια απομακρυσμένη εργασία;
Το Ray επιστρέφει αμέσως ένα ελαφρύ μέλλον, έτσι η εργασία εκτελείται ασύγχρονα. καλείτε την ray.get() για να ανακτήσετε το πραγματικό αποτέλεσμα όταν χρειάζεται.
Ποια βιβλιοθήκη Ray έχει σχεδιαστεί για κατανεμημένη αναζήτηση υπερπαραμέτρων;
Η Ray Tune ειδικεύεται στην εκτέλεση πολλών δοκιμών υπερπαραμέτρων παράλληλα σε ένα σύμπλεγμα.
Which object type do Ray’s docs explicitly say can be read from same-node object-store memory without a copy?
Ray documents zero-copy reads for NumPy arrays stored in the object store when workers on the same node access them. Other values may require deserialization, and data requested across nodes must be transferred.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα