Κουίζ που συνδέεται με οδηγό · Σκληρό Επίπεδο
Κουίζ DeepSpeed και Megatron Training Stacks
Ελέγχει τα στάδια διαμοιρασμού ZeRO, τον παραλληλισμό τανυστή και αγωγών, σημεία ελέγχου ενεργοποίησης, εκφόρτωση και συνδυασμένη 3D παράλληλη εκπαίδευση.
Ερώτηση 1 του 8
Ποιος είναι ο πρωταρχικός σκοπός του βελτιστοποιητή ZeRO της DeepSpeed;
Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις
Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.
- Ποιος είναι ο πρωταρχικός σκοπός του βελτιστοποιητή ZeRO της DeepSpeed;
- Για να μοιραστείτε καταστάσεις, διαβαθμίσεις και παραμέτρους βελτιστοποίησης σε όλες τις GPU για εξοικονόμηση μνήμης
- Για συμπίεση του τελικού μοντέλου για ανάπτυξη
- Για τη μετάφραση μοντέλων μεταξύ πλαισίων
- Για αυτόματη επισήμανση των δεδομένων εκπαίδευσης
- Ο παραλληλισμός τανυστών, όπως πρωτοστάτησε στο Megatron-LM, χωρίζει το μοντέλο πώς;
- Βάζοντας διαφορετικά επίπεδα σε διαφορετικές GPU
- Τεμαχίζοντας μεμονωμένους πολλαπλασιασμούς μήτρας μέσα σε ένα επίπεδο στις GPU
- Δίνοντας σε κάθε GPU μια διαφορετική παρτίδα δεδομένων
- Αποθηκεύοντας διαφορετικά χρονικά βήματα σε διαφορετικές GPU
- Ο παραλληλισμός αγωγών διαφέρει από τον παραλληλισμό τανυστών επειδή χωρίζει το μοντέλο κατά:
- Τεμαχίζοντας μήτρες μέσα σε κάθε στρώμα
- Αντιγραφή ολόκληρου του μοντέλου σε κάθε GPU
- Αντιστοίχιση διαφορετικών επιπέδων (στάδια) σε διαφορετικές GPU
- Κβαντισμός βαρών για χαμηλότερη ακρίβεια
- Ποιο στάδιο ZeRO παρέχει τη μεγαλύτερη εξοικονόμηση μνήμης διαμοιράζοντας επίσης τις ίδιες τις παραμέτρους του μοντέλου;
- Στάδιο 1
- Στάδιο 2
- Στάδιο 0
- Στάδιο 3
- Τι ανταλλάσσει το «σημείο ελέγχου ενεργοποίησης» για εξοικονόμηση μνήμης κατά τη διάρκεια της προπόνησης;
- Επιπλέον υπολογισμός, επαναυπολογίζοντας τις ενεργοποιήσεις κατά τη διάρκεια του backward pass
- Ακρίβεια μοντέλου
- Εύρος ζώνης δικτύου
- Ο αριθμός των στρωμάτων
- Γιατί ο συνδυασμός αυτών των τεχνικών ονομάζεται συχνά «3D παραλληλισμός»;
- Λειτουργεί μόνο σε τρισδιάστατες κάρτες γραφικών
- Συνδυάζει δεδομένα, τανυστή και παραλληλισμό αγωγών κατά μήκος τριών αξόνων
- Χρησιμοποιεί τρεις μονάδες GPU το πολύ
- Αποδίδει μοντέλα σε τρεις διαστάσεις
- Which ZeRO stage first shards optimizer state across data-parallel workers?
- Στάδιο 0
- Στάδιο 2
- Στάδιο 1
- Στάδιο 3
- What does CPU or NVMe offloading do in large-model training stacks?
- Copies the full model to every GPU
- Removes all inter-GPU communication
- Changes tensor parallelism into reinforcement learning
- Moves some model or optimizer state off GPU memory to increase the available GPU-memory budget