Κουίζ που συνδέεται με οδηγό · Σκληρό Επίπεδο

Κουίζ παραλληλισμού τανυστών για μεγάλα μοντέλα

Ελέγχει τον τρόπο με τον οποίο ο παραλληλισμός τανυστών διασπά πίνακες επιπέδων, συνδυάζει μερικές εξόδους, χωρίζει τις κεφαλές προσοχής και ταιριάζει σε παραλληλισμό πολλαπλών αξόνων.

Σχετικές διαδρομές οδηγώνΠαραλληλισμός τανυστή για μεγάλα μοντέλα
Ερώτηση 1 του 8

Τι χωρίζει ο παραλληλισμός τανυστών μεταξύ των GPU;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Τι χωρίζει ο παραλληλισμός τανυστών μεταξύ των GPU;
    • Οι πίνακες βάρους σε ένα μόνο στρώμα
    • Ολόκληρα επίπεδα τοποθετημένα σε ξεχωριστές GPU
    • Διαφορετικά σύνολα δεδομένων εκπαίδευσης
    • Το ποσοστό εκμάθησης του βελτιστοποιητή
  2. Στο διαχωρισμό MLP τύπου Megatron, πώς κατανέμονται οι δύο πίνακες βάρους για να ελαχιστοποιηθεί η επικοινωνία;
    • Και τα δύο κατά στήλη
    • Πρώτη κατά στήλη, δεύτερη σειρά
    • Και τα δύο σε σειρά
    • Δεν χωρίζονται καθόλου
  3. Γιατί ο παραλληλισμός τανυστών συνήθως διατηρείται σε έναν μόνο κόμβο;
    • Οι κόμβοι δεν μπορούν να εκτελούν GPU
    • Οι GPU σε διαφορετικούς κόμβους χρησιμοποιούν διαφορετικά μαθηματικά
    • Χρειάζεται συχνή επικοινωνία υψηλού εύρους ζώνης που εξυπηρετείται καλύτερα από το NVLink
    • Είναι νομική απαίτηση
  4. Πώς παραλληλίζεται συνήθως ο μηχανισμός προσοχής κάτω από τον παραλληλισμό τανυστή;
    • Δίνοντας περιττό τον πλήρη υπολογισμό της προσοχής σε κάθε GPU
    • Παραλείποντας εντελώς την προσοχή
    • Μετατρέποντας την προσοχή σε συνέλιξη
    • Διαχωρίζοντας σε κεφαλές προσοχής, κάθε GPU χειρίζεται ένα υποσύνολο
  5. Ποια συλλογική πράξη συνδυάζει συνήθως μερικά αποτελέσματα σε παραλληλισμό τανυστών;
    • Μια ολική μείωση
    • Ένα αντίγραφο αρχείου
    • Σύνδεση βάσης δεδομένων
    • Μια αναζήτηση DNS
  6. Πώς ταιριάζει συνήθως ο παραλληλισμός τανυστών στον «τρισδιάστατο παραλληλισμό»;
    • Αντικαθιστά όλες τις άλλες μορφές παραλληλισμού
    • Συνδυάζεται με παραλληλισμό αγωγών και δεδομένων
    • Λειτουργεί μόνο χωρίς κανέναν άλλο παραλληλισμό
    • Χρησιμοποιείται αποκλειστικά για μοντέλα εικόνας
  7. After the row-wise partition of an MLP’s second matrix, why must GPUs combine partial outputs?
    • The GPUs each hold a different optimizer
    • The result is a vocabulary probability that must be sorted
    • Each GPU computed a partial contribution to the same output, so the pieces must be summed
    • The model needs to average separate datasets
  8. Why can interconnect latency limit tensor-parallel scaling across distant nodes?
    • Tensor parallelism never communicates between GPUs
    • The attention mask must be copied after every token
    • Every GPU trains a separate model
    • Collectives are required repeatedly within layers, so communication latency accumulates