Κουίζ που συνδέεται με οδηγό · Σκληρό Επίπεδο

Κουίζ ZeRO και Sharded Optimizers

Καλύπτει στάδια ZeRO, μνήμη κατάστασης Adam, συλλογή παραμέτρων, μείωση κλίσης, επιλογές εκφόρτωσης και κόστος επικοινωνίας.

Σχετικές διαδρομές οδηγώνZero And Sharded Optimizers
Ερώτηση 1 του 8

Τι πλεονασμό εξαλείφει το ZeRO σε σύγκριση με τον απλό παραλληλισμό δεδομένων;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Τι πλεονασμό εξαλείφει το ZeRO σε σύγκριση με τον απλό παραλληλισμό δεδομένων;
    • Δημιουργήστε διπλότυπα πλήρη αντίγραφα της κατάστασης, των διαβαθμίσεων και των παραμέτρων του βελτιστοποιητή σε κάθε GPU
    • Διπλότυπα αντίγραφα των δεδομένων εκπαίδευσης σε κάθε GPU
    • Περιττά καλώδια δικτύου μεταξύ κόμβων
    • Επαναλαμβανόμενα περάσματα προς τα εμπρός πάνω από την ίδια παρτίδα
  2. Γιατί η κατάσταση βελτιστοποίησης είναι συχνά η μεγαλύτερη μνήμη με τον Adam;
    • Ο Adam δεν αποθηκεύει καθόλου επιπλέον κατάσταση
    • Ο Adam διατηρεί πρόσθετες τιμές ανά παράμετρο (όπως ορμή και διακύμανση), συχνά αρκετές φορές το μέγεθος του μοντέλου
    • Ο Adam αντιγράφει ολόκληρο το σύνολο δεδομένων
    • Ο Αδάμ απαιτεί την αποθήκευση κάθε περασμένης κλίσης για πάντα
  3. Τι σημαίνει το ZeRO Stage 3 που δεν κάνουν τα Στάδια 1 και 2;
    • Τα δεδομένα της εκπαίδευσης
    • Η συνάρτηση απώλειας
    • Οι ίδιες οι παράμετροι του μοντέλου
    • Το χρονοδιάγραμμα των ποσοστών μάθησης
  4. Στο ZeRO Stage 3, πώς μια GPU λαμβάνει τις πλήρεις παραμέτρους που χρειάζεται για την προώθηση ενός επιπέδου;
    • Δεν χρειάζεται ποτέ τις πλήρεις παραμέτρους
    • Τα κατεβάζει από το διαδίκτυο
    • Κάθε φορά τα υπολογίζει εκ νέου από την αρχή
    • Πραγματοποιεί μια συλλογή όλων για να συλλέξει τις φέτες που λείπουν και στη συνέχεια τις απορρίπτει
  5. Ποιο χαρακτηριστικό του PyTorch υλοποιεί εγγενώς τον διαμοιρασμό σε στυλ ZeRO;
    • FSDP (Πλήρως σπασμένα δεδομένα παράλληλα)
    • DataLoader
    • TorchScript
    • Autograd
  6. Ποια είναι η βασική αντιστάθμιση που κάνει το ZeRO για εξοικονόμηση μνήμης;
    • Θυσιάζει την ακρίβεια του μοντέλου για την ταχύτητα
    • Προσθέτει επιπλέον επικοινωνία για τη συλλογή και τη διασπορά θραυσμάτων όπως απαιτείται
    • Αφαιρεί στρώματα από το μοντέλο
    • Λειτουργεί μόνο με πολύ μικρά μοντέλα
  7. Which state is partitioned in ZeRO Stage 1?
    • Only parameters, with optimizer states replicated
    • Parameters, gradients, and optimizer states all sharded
    • Optimizer states, while parameters and gradients remain replicated
    • Only input activations and labels
  8. What is a practical cost of ZeRO-style sharding?
    • It removes the need to calculate gradients
    • It makes every optimizer update local with no data exchange
    • It requires the model to be retrained from scratch for every step
    • Additional communication to gather parameters and distribute gradients