ΕπόμενοΕπόμενος οδηγός
Adam και Adaptive Optimizers
Τεχνικά
Τεχνικός ΟΔΗΓΟΣ
Κατάσταση βελτιστοποίησης Μεταφόρτωση σε CPU και NVMe
Ένα τέχνασμα εξοικονόμησης μνήμης που σταθμεύει τη βαριά λογιστική της εκπαίδευσης (καταστάσεις βελτιστοποίησης, διαβαθμίσεις, μερικές φορές βάρη) στη μνήμη RAM της CPU ή σε μονάδες SSD NVMe αντί για περιορισμένη μνήμη GPU.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
It lets people train far larger models than their GPU's memory would otherwise allow.
Βαθιά κατάδυση
Όταν εκπαιδεύετε ένα νευρωνικό δίκτυο με έναν βελτιστοποιητή όπως ο Adam, κάθε παράμετρος φέρει επιπλέον αποσκευές: δύο στατιστικά στοιχεία λειτουργίας (ορμή και διακύμανση), συν ένα αντίγραφο πλήρους ακρίβειας του βάρους, συν την κλίση του. Στην προπόνηση μικτής ακρίβειας, αυτό μπορεί να φτάσει συνολικά περίπου 16 byte ανά παράμετρο, μειώνοντας τα 2 byte για το ίδιο το βάρος. Η εκφόρτωση απομακρύνει αυτές τις αποσκευές από τη GPU. Η εκφόρτωση της CPU μεταδίδει τις καταστάσεις βελτιστοποίησης στη συνηθισμένη μνήμη RAM του συστήματος μέσω του διαύλου PCIe, ενώ η εκφόρτωση NVMe τις ωθεί μέχρι κάτω σε γρήγορους δίσκους στερεάς κατάστασης. Διαδεδομένη από τα ZeRO-Infinity και ZeRO-Offload της DeepSpeed, η τεχνική ανταλλάσσει την ακατέργαστη ταχύτητα με τη χωρητικότητα, επιτρέποντας σε μια ενιαία GPU ή ένα μικρό σύμπλεγμα να τελειοποιήσει μοντέλα με δισεκατομμύρια παραμέτρους.
Υλοποίηση σε πραγματικό κόσμο
DeepSpeed’s ZeRO-Offload tutorial trains a ten-billion-parameter GPT-2 configuration on a 32 GB V100, with CPU optimizer offloading and activation checkpointing.
A research team evaluates ZeRO-Infinity with CPU and NVMe tiers for a model that exceeds GPU-only capacity.
A fine-tuning team configures CPU optimizer offloading and measures host memory use and update time.
A team compares larger GPUs with offloading, accounting for CPU, storage, and transfer costs.
The Future of Optimizer State Offloading σε CPU και NVMe
Καθώς τα μοντέλα συνεχίζουν να ξεπερνούν τη μνήμη GPU, η κλιμακωτή εκφόρτωση γίνεται τυπική και όχι εξωτική. Αναμένετε στενότερη ενσωμάτωση με ταχύτερες διασυνδέσεις, όπως δεξαμενές μνήμης NVLink-C2C και CXL που θολώνουν τα όρια CPU-GPU, καθώς και πιο έξυπνους χρονοπρογραμματιστές που προβλέπουν ποιες καταστάσεις θα προανακτηθούν. Οι αρχιτεκτονικές ενοποιημένης μνήμης, όπως η Grace Hopper, μειώνουν την ποινή του PCIe και τα πλαίσια πιέζουν να κάνουν την εκφόρτωση πολλαπλών επιπέδων σχεδόν διαφανή, ώστε οι χομπίστες να μπορούν να συντονίζουν μεγάλα μοντέλα σε μέτριο υλικό.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Κόστος και προϋπολογισμός. Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
- Σαφέστερες αποφάσεις. Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
- Ελεγχος ποιότητας. Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Προσέξτε
- Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
- Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
- Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Επόμενα βήματα
- Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
- Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
- Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
- Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Optimizer State Offloading to CPU and NVMe quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
What is Optimizer State Offloading to CPU and NVMe?
Ένα τέχνασμα εξοικονόμησης μνήμης που σταθμεύει τη βαριά λογιστική της εκπαίδευσης (καταστάσεις βελτιστοποίησης, διαβαθμίσεις, μερικές φορές βάρη) στη μνήμη RAM της CPU ή σε μονάδες SSD NVMe αντί για περιορισμένη μνήμη GPU. Επιτρέπει στους ανθρώπους να εκπαιδεύουν πολύ μεγαλύτερα μοντέλα από αυτά που θα επέτρεπε διαφορετικά η μνήμη της GPU τους.
Ποιος είναι ο πρωταρχικός στόχος της μεταφόρτωσης καταστάσεων βελτιστοποίησης σε CPU ή NVMe;
Η εκφόρτωση μετακινεί τις βαριές καταστάσεις βελτιστοποίησης εκτός της GPU στη RAM ή το NVMe της CPU, ελευθερώνοντας τη μνήμη GPU, ώστε τα μεγαλύτερα μοντέλα να μπορούν να εκπαιδεύονται στο ίδιο υλικό.
For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?
Each FP32 value uses four bytes: two moments plus one master weight total twelve. A sixteen-byte mixed-precision estimate includes other tensors as well.
Ποιο χαρακτηριστικό πλαισίου δημοφιλές εκφόρτωση βελτιστοποιητών μεγάλης κλίμακας;
Τα ZeRO-Offload και ZeRO-Infinity της DeepSpeed εισήγαγαν και διέδωσαν τις καταστάσεις βελτιστοποίησης εκφόρτωσης σε CPU και NVMe σε κλίμακα.
Ποιο είναι το κύριο κόστος απόδοσης της εκφόρτωσης σε CPU ή NVMe;
Η μετακίνηση των καταστάσεων εκτός GPU σημαίνει μεταφορά δεδομένων μέσω PCIe ή σε NVMe, η οποία είναι πιο αργή από τη μνήμη εντός GPU, επομένως η απόδοση μειώνεται εκτός εάν επικαλύπτεται με υπολογισμό.
Πώς τα συστήματα εκφόρτωσης κρύβουν μεγάλο μέρος της καθυστέρησης μεταφοράς;
Οι προγραμματιστές ανακτούν εκ των προτέρων τις απαραίτητες κατατμήσεις μέσω PCIe ενώ η GPU εξακολουθεί να υπολογίζει, επικαλύπτοντας την επικοινωνία με τον υπολογισμό για να συγκαλύψει την καθυστέρηση.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα