Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Κουίζ Παραλληλισμού Δεδομένων

Ελέγξτε τα επαναλαμβανόμενα μοντέλα, το συγχρονισμό gradient, το μέγεθος παρτίδας, το κόστος επικοινωνίας και τα όρια της κλιμάκωσης της εκπαίδευσης μεταξύ των εργαζομένων.

Σχετικές διαδρομές οδηγώνΠαραλληλισμός Δεδομένων
Ερώτηση 1 του 8

Στον τυπικό παραλληλισμό δεδομένων, τι περιέχει κάθε GPU;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Στον τυπικό παραλληλισμό δεδομένων, τι περιέχει κάθε GPU;
    • Πλήρες αντίγραφο του μοντέλου, επεξεργασία διαφορετικής φέτας της παρτίδας
    • Ένα διαφορετικό κομμάτι από τα στρώματα του μοντέλου
    • Μόνο η κατάσταση βελτιστοποίησης, με τα βάρη αποθηκευμένα κεντρικά
    • Μια συμπιεσμένη έκδοση του μοντέλου με λιγότερες παραμέτρους
  2. Ποια λειτουργία επικοινωνίας διατηρεί τα αντίγραφα του μοντέλου συγχρονισμένα σε κάθε βήμα;
    • Broadcast, η οποία αντιγράφει τα δεδομένα μιας GPU σε όλες τις άλλες
    • All-reduce, το οποίο υπολογίζει κατά μέσο όρο τις κλίσεις σε όλες τις GPU
    • Scatter, που διαιρεί τα δεδομένα μεταξύ των GPU
    • Δεν απαιτείται επικοινωνία μεταξύ των GPU
  3. What memory limit remains in plain data parallelism?
    • The full model is sharded automatically across the GPUs
    • Only the input batch uses device memory
    • Each GPU keeps model parameters and optimizer state replicated, limiting the model size that fits
    • Each worker stores different model layers by default
  4. Which factors does NCCL use when selecting collective algorithms?
    • Only the random seed and learning rate
    • Only the total number of model parameters
    • The optimizer type and validation score
    • Message size and topology
  5. Πώς το PyTorch DistributedDataParallel κρύβει την καθυστέρηση επικοινωνίας;
    • Με επικάλυψη κλίσης, μειώστε πλήρως με το συνεχιζόμενο πέρασμα προς τα πίσω
    • Παραλείποντας το συγχρονισμό ντεγκραντέ σε εναλλασσόμενα βήματα
    • Συμπιέζοντας όλες τις διαβαθμίσεις σε έναν μόνο αριθμό
    • Εκτελώντας το μπροστινό πέρασμα στην CPU
  6. With equal local batch size B on each of W data-parallel workers, what is the global batch for one synchronized step?
    • B divided by W
    • B multiplied by W, before any gradient-accumulation factor
    • Always exactly W samples
    • The model parameter count divided by B
  7. Why may adding more data-parallel GPUs fail to increase throughput proportionally?
    • All-reduce makes model parameters disappear
    • The model is copied only to one worker
    • Gradient communication, data loading, and synchronization add overhead
    • More workers always reduce the global batch to zero
  8. What does gradient accumulation let a data-parallel training loop do?
    • Shard parameters automatically across all workers
    • Skip forward and backward computation
    • Replace the model with an all-reduce operation
    • Combine gradients from multiple microbatches before an optimizer update