Κουίζ που συνδέεται με οδηγό · Σκληρό Επίπεδο

Πλήρως Sharded Data Parallel Quiz

Καλύπτει τον διαμοιρασμό FSDP, τη συλλογή και μείωση της διασποράς, την επικάλυψη επικοινωνίας και τις ανταλλαγές μνήμης έναντι δικτύου σε μεγάλα κατανεμημένα μοντέλα εκπαίδευσης.

Σχετικές διαδρομές οδηγώνΠλήρως Sharded Data Parallel
Ερώτηση 1 του 8

Τι κάνει το FSDP σε όλες τις GPU που ΔΕΝ κάνει ο τυπικός παραλληλισμός δεδομένων;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Τι κάνει το FSDP σε όλες τις GPU που ΔΕΝ κάνει ο τυπικός παραλληλισμός δεδομένων;
    • Παράμετροι, διαβαθμίσεις και καταστάσεις βελτιστοποίησης
    • Μόνο οι παρτίδες εισόδου
    • Μόνο το χρονοδιάγραμμα των ποσοστών εκμάθησης
    • Τα αρχεία συνόλου εκπαίδευσης στο δίσκο
  2. Ποια συλλογική λειτουργία χρησιμοποιεί το FSDP για να ανακατασκευάσει τα πλήρη βάρη ενός στρώματος ακριβώς πριν τον υπολογίσει;
    • Μόνο μετάδοση
    • Μαζευτείτε όλα
    • Σκορπίστε
    • Εμπόδιο
  3. Γιατί το FSDP ελευθερώνει τα συγκεντρωμένα πλήρη βάρη αμέσως μετά τον υπολογισμό ενός επιπέδου;
    • Για να αλλοιωθούν οι αχρησιμοποίητες διαβαθμίσεις
    • Για να αναγκάσετε έναν πιο αργό βρόχο προπόνησης
    • Για να διατηρήσετε το μόνιμο αποτύπωμα μνήμης σε ένα μόνο θραύσμα ανά συσκευή
    • Επειδή το PyTorch τα διαγράφει τυχαία
  4. Το FSDP εμπνεύστηκε σε μεγάλο βαθμό από ποια προηγούμενη προσέγγιση βελτιστοποίησης μνήμης;
    • Το MapReduce του Google
    • Apache Spark RDD
    • Οι πυρήνες CUDA της NVIDIA
    • Microsoft's ZeRO (Zero Redundancy Optimizer)
  5. Πώς το FSDP κρύβει μεγάλο μέρος της καθυστέρησης δικτύου από τη συγκέντρωση βαρών;
    • Με την επικάλυψη επικοινωνίας με τον υπολογισμό, την εκ των προτέρων λήψη των παραμέτρων του επόμενου επιπέδου
    • Απενεργοποιώντας την αντίστροφη πάσα
    • Συμπιέζοντας τα βάρη σε ένα bit
    • Με εκπαίδευση μόνο σε CPU
  6. Ποια συλλογική λειτουργία διανέμει συνδυασμένα slices gradient πίσω στις GPU που κατέχουν στο backward pass;
    • Αντιγραφή από όλους
    • Μείωση-σκέδαση
    • Αντίγραφο μίας GPU
    • Μόνο για συγκέντρωση
  7. Why can fully sharding state lower persistent per-GPU memory compared with replicated data parallelism?
    • It removes all model parameters during training
    • It converts optimizer states into network requests
    • Each rank stores a shard of model state instead of a full copy
    • It places every activation permanently on the CPU
  8. What is a central systems tradeoff in FSDP?
    • Lower memory and no communication at any point
    • More replicated parameters in exchange for fewer data samples
    • Replacing training with inference
    • Lower per-device memory use in exchange for collective communication