ΕπόμενοΕπόμενος οδηγός
Αποθήκευση για Συστήματα Εκπαίδευσης AI
Τεχνικά
Τεχνικός ΟΔΗΓΟΣ
Slurm για AI Training Cluster
Το Slurm είναι ένας διαχειριστής φόρτου εργασίας ανοιχτού κώδικα που προγραμματίζει και εκτελεί εργασίες σε συμπλέγματα υπολογιστών υψηλής απόδοσης και έχει γίνει μια προεπιλεγμένη επιλογή για μεγάλη εκπαίδευση τεχνητής νοημοσύνης.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
Έχει σημασία γιατί κατανέμει αξιόπιστα τεράστιες εκπαιδευτικές διαδρομές σε χιλιάδες GPU.
Βαθιά κατάδυση
Το Slurm (Simple Linux Utility for Resource Management) ξεκίνησε από τους υπερυπολογιστές και τώρα τροφοδοτεί πολλά από τα μεγαλύτερα cluster εκπαίδευσης AI στον κόσμο. Οι χρήστες υποβάλλουν σενάρια δέσμης με sbatch, ζητούν πόρους όπως κόμβους και GPU με οδηγίες όπως --gres=gpu:8 και ουρές Slurm, ιεραρχούν προτεραιότητες και εκκινούν την εργασία. Ο srun launcher του δημιουργεί συντονισμένες διεργασίες σε κόμβους, οι οποίες ζευγαρώνουν φυσικά με κατανεμημένα πλαίσια όπως το PyTorch DDP και το NCCL. Το Slurm παρακολουθεί τη λογιστική των πόρων, επιβάλλει όρια δίκαιου μεριδίου και διαμερισμάτων και χειρίζεται τον προγραμματισμό συμπλήρωσης για να τοποθετήσει μικρές εργασίες σε κενά. Για εκπαίδευση μοντέλων συνόρων, οι ομάδες βασίζονται στο Slurm για τη διαχείριση χιλιάδων GPU, την επανεκκίνηση από σημεία ελέγχου μετά από αποτυχίες κόμβων και τη κράτηση αποκλειστικής χωρητικότητας για μεγάλες εκτελέσεις πολλών εβδομάδων.
Υλοποίηση σε πραγματικό κόσμο
Ένα συνοριακό εργαστήριο ξεκινά μια εκπαίδευση πολλών εβδομάδων σε χιλιάδες GPU με ένα μόνο σενάριο sbatch που ζητά εκατοντάδες κόμβους.
Ένας ερευνητής υποβάλλει 'srun --gres=gpu:8' για να αρπάξει οκτώ GPU σε έναν κόμβο για ένα πείραμα PyTorch DDP.
Ο προγραμματισμός συμπλήρωσης τοποθετεί μια σύντομη εργασία αξιολόγησης σε αδρανείς GPU, ενώ μια μεγάλη δεσμευμένη εκτέλεση εκπαίδευσης περιμένει να ξεκινήσει.
Μετά την αποτυχία ενός κόμβου κατά τη διάρκεια της εκτέλεσης, ο Slurm ζητά την εργασία και συνεχίζει από το πιο πρόσφατο σημείο ελέγχου αντί να ξεκινά από την αρχή.
The Future of Slurm for AI Training Cluster
Το Slurm συνεχίζει να προσθέτει cloud-bursting, υποστήριξη κοντέινερ μέσω Pyxis και Enroot και πιο αυστηρές λειτουργίες που γνωρίζουν την GPU. Καθώς τα συμπλέγματα τεχνητής νοημοσύνης κλιμακώνονται προς τις 100.000 και πλέον GPU, περιμένετε ισχυρότερη ανοχή σφαλμάτων, αυτόματη ενσωμάτωση επανεκκίνησης σημείου ελέγχου και ελαστικές εργασίες που αλλάζουν μέγεθος μετά από αστοχίες. Πολλοί οργανισμοί τρέχουν τώρα το Slurm δίπλα ή κάτω από το Kubernetes και οι υβριδικοί προγραμματιστές στοχεύουν να συνδυάσουν την αποδοτικότητα τύπου HPC με την εγγενή ευελιξία στο cloud για ολοένα μεγαλύτερες προπονήσεις.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Κόστος και προϋπολογισμός. Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
- Σαφέστερες αποφάσεις. Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
- Ελεγχος ποιότητας. Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Προσέξτε
- Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
- Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
- Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Επόμενα βήματα
- Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
- Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
- Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
- Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Slurm for AI Training Clusters quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
Τι είναι το Slurm για συμπλέγματα εκπαίδευσης AI;
Το Slurm είναι ένας διαχειριστής φόρτου εργασίας ανοιχτού κώδικα που προγραμματίζει και εκτελεί εργασίες σε συμπλέγματα υπολογιστών υψηλής απόδοσης και έχει γίνει μια προεπιλεγμένη επιλογή για μεγάλη εκπαίδευση τεχνητής νοημοσύνης. Έχει σημασία γιατί διανέμει αξιόπιστα τεράστιες εκδόσεις εκπαίδευσης σε χιλιάδες GPU.
Ποια εντολή χρησιμοποιούν συνήθως οι χρήστες για να υποβάλουν μια μαζική εργασία στο Slurm;
Το sbatch υποβάλλει ένα σενάριο δέσμης που περιγράφει τους πόρους και τις εντολές για μια εργασία στην ουρά Slurm.
Πώς μια εργασία Slurm ζητά GPU;
Το σύστημα Generic Resource (GRES) επιτρέπει στις εργασίες να ζητούν ρητά GPU, για παράδειγμα --gres=gpu:8.
Ποιο στοιχείο Slurm λαμβάνει τις κεντρικές αποφάσεις προγραμματισμού;
Το slurmctld είναι ο δαίμονας του ελεγκτή που προγραμματίζει εργασίες, ενώ το slurmd εκτελείται σε κάθε κόμβο για την εκκίνηση εργασιών.
Why can srun help launch distributed training tasks inside a Slurm allocation?
srun launches task steps in the allocation and exposes Slurm task information; distributed frameworks may still require explicit rendezvous settings.
Ποιος είναι ο σκοπός του προγραμματισμού συμπλήρωσης στο Slurm;
Η συμπλήρωση βελτιώνει τη χρήση με την τοποθέτηση μικρότερων εργασιών σε κενά προγραμματισμού, αρκεί να μην αναστέλλουν δεσμευμένες εργασίες.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα