ΕπόμενοΕπόμενος οδηγός
Hugging Face Accelerate για εκπαίδευση πολλαπλών GPU
Τεχνικά
Τεχνικός ΟΔΗΓΟΣ
Διαμέριση GPU πολλαπλών περιπτώσεων
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
Βαθιά κατάδυση
MIG was introduced with the NVIDIA A100 and is supported on selected later GPUs. A GPU Instance groups compute and dedicated memory resources, including assigned paths through cache and memory hardware. On an A100 40 GB, supported layouts can provide up to seven small GPU Instances or fewer larger ones. Compute Instances can further divide compute resources inside a GPU Instance while sharing its memory resources. This differs from ordinary software time slicing, but does not imply immunity from every device-level fault or interference in the wider host and service. Workload capacity, supported profiles, and operational constraints should be tested on the actual GPU.
Υλοποίηση σε πραγματικό κόσμο
Ένας πάροχος cloud χωρίζει ένα A100 σε επτά περιπτώσεις, έτσι ώστε επτά πελάτες να λαμβάνουν ο καθένας ένα εγγυημένο, απομονωμένο τμήμα GPU για συμπέρασμα.
Ένα πανεπιστημιακό ερευνητικό σύμπλεγμα δίνει σε κάθε φοιτητή διδάκτορα ένα παράδειγμα MIG 10 GB για πρωτότυπο αντί να μονοπωλεί ολόκληρες κάρτες.
Μια υπηρεσία συμπερασμάτων συσκευάζει πολλά μικρά μοντέλα γλώσσας και όρασης σε ένα H100, το καθένα στο δικό του διαμέρισμα με προβλέψιμο λανθάνοντα χρόνο.
Ένα σύμπλεγμα Kubernetes διαφημίζει στιγμιότυπα MIG ως προγραμματιζόμενους πόρους, έτσι τα pods ζητούν «nvidia.com/mig-1g.5gb» όπως κάθε άλλος πόρος.
Το μέλλον του διαμερίσματος GPU πολλαπλών περιπτώσεων
Καθώς οι GPU αυξάνονται στα 80 GB, 141 GB και πέρα, η κατάτμηση γίνεται πιο ελκυστική, επειδή τα μεμονωμένα μοντέλα σπάνια χρειάζονται μια ολόκληρη κάρτα για συμπέρασμα. Περιμένετε στενότερη ενσωμάτωση Kubernetes και cloud, δυναμική αναδιαμέριση χωρίς αποστράγγιση του κόμβου και πιο λεπτομερή προφίλ. Οι ανταγωνιστικοί προμηθευτές επιδιώκουν παρόμοια εικονικοποίηση GPU τύπου SR-IOV και οι πλατφόρμες συμπερασμάτων χωρίς διακομιστή βασίζονται όλο και περισσότερο στη διαμέριση για να συσκευάζουν πυκνά πολλά μοντέλα και να περιορίζουν τα άχρηστα απόβλητα.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Κόστος και προϋπολογισμός. Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
- Σαφέστερες αποφάσεις. Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
- Ελεγχος ποιότητας. Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Προσέξτε
- Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
- Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
- Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Επόμενα βήματα
- Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
- Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
- Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
- Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Multi-Instance GPU Partitioning quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
Τι είναι η κατάτμηση GPU πολλαπλών παρουσιών;
NVIDIA Multi-Instance GPU partitions supported GPUs into instances with assigned compute and memory resources. It can improve sharing for smaller workloads, but profile support and isolation boundaries depend on the GPU and configuration.
Which resource boundary distinguishes separate MIG GPU Instances from software time slicing?
MIG assigns hardware resource slices. Compute Instances within a shared GPU Instance have a different boundary, and device-level faults are not universally eliminated.
Σε ποια αρχιτεκτονική NVIDIA παρουσιάστηκε για πρώτη φορά η MIG;
Η MIG έκανε το ντεμπούτο της με το A100 που βασίζεται σε Ampere και συνέχισε σε H100 και μεταγενέστερες GPU με κέντρο δεδομένων.
On an A100 40 GB using supported small-instance profiles, how many GPU Instances can a layout provide?
The A100 supports layouts of up to seven GPU Instances. Maximum counts and profiles should not be generalized to all GPU models.
Σε ένα προφίλ MIG όπως το '1g.5gb', τι αντιπροσωπεύει το '5gb';
Το προφίλ κωδικοποιεί υπολογιστικές φέτες (1g) και την αποκλειστική μνήμη (5GB) που δίνεται στο στιγμιότυπο.
Για ποιον φόρτο εργασίας είναι ιδιαίτερα κατάλληλη η MIG;
Η MIG λάμπει όταν πολλοί μικροί, μεμονωμένοι φόρτοι εργασίας (όπως το συμπέρασμα) μοιράζονται μία κάρτα με εγγυημένη ποιότητα υπηρεσιών.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα