Κουίζ παραλληλισμού μοντέλων και αγωγών

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Ποιο θεμελιώδες πρόβλημα λύνει ο παραλληλισμός μοντέλων και αγωγών;
   • Ένα μοντέλο είναι πολύ μεγάλο για να χωρέσει στη μνήμη μιας μονάδας GPU
   • Αργή φόρτωση δεδομένων από το δίσκο
   • Οι κλίσεις που εκρήγνυνται κατά τη διάρκεια της προπόνησης
   • Πολύ λίγα διαθέσιμα παραδείγματα εκπαίδευσης
2. Πώς λειτουργεί η διαίρεση του παραλληλισμού τανυστή (ενδοστρωματική);
   • Εκχωρεί ολόκληρα επίπεδα σε διαφορετικές GPU
   • Διαχωρίζει τα μαθηματικά μέσα σε ένα επίπεδο, όπως ένας πολλαπλασιασμός μήτρας, μεταξύ των GPU
   • Αντιγράφει κάθε επίπεδο σε κάθε GPU
   • Εκτελεί κάθε στρώμα δύο φορές για πλεονασμό
3. Ποια είναι η «φούσκα» στον αφελή παραλληλισμό αγωγών;
   • Μια διαρροή μνήμης που μεγαλώνει με την πάροδο του χρόνου
   • Ένα αντίγραφο της κατάστασης του βελτιστοποιητή
   • Χρόνος αδράνειας όταν οι κατάντη GPU περιμένουν τα upstream στάδια για να παράγουν ενεργοποιήσεις
   • Αιχμή στις τιμές κλίσης
4. Πώς ο παραλληλισμός αγωγών μειώνει τη φούσκα;
   • Χρησιμοποιώντας μικρότερο ρυθμό μάθησης
   • Αφαιρώντας ορισμένα στρώματα από το μοντέλο
   • Με την αποθήκευση των ενεργοποιήσεων στη CPU
   • Διαχωρίζοντας κάθε παρτίδα σε μικρο-παρτίδες που διέρχονται από στάδια με κλιμακωτό τρόπο
5. Γιατί ο παραλληλισμός τανυστών συνήθως διατηρείται σε έναν μόνο κόμβο;
   • Επειδή η συχνή πλήρης μείωση των μερικών αποτελεσμάτων επωφελείται από γρήγορες συνδέσεις εντός κόμβου όπως το NVLink
   • Γιατί δεν απαιτεί καμία επικοινωνία
   • Επειδή οι κόμβοι δεν μπορούν καθόλου να μοιραστούν δεδομένα
   • Επειδή υποστηρίζει μόνο μία GPU
6. Ποιο πλαίσιο είναι περισσότερο γνωστό για τον παραλληλισμό τανυστών στην εκπαίδευση μετασχηματιστών;
   • scikit-μαθαίνω
   • NVIDIA Megatron-LM
   • OpenCV
   • Πάντα
7. What data must move between stages in pipeline parallelism during a forward pass?
   • The entire training dataset after each layer
   • Only the optimizer’s learning rate
   • Activation tensors produced by one stage and consumed by the next
   • No data, because stages are independent models
8. Why does tensor parallelism often require fast communication within its group?
   • It assigns each GPU a separate dataset and never synchronizes
   • It communicates only once when the model is loaded
   • It uses no cross-device operations
   • Devices exchange partial results or activations within layers during computation