Κουίζ που συνδέεται με οδηγό · Σκληρό Επίπεδο

Κατάσταση βελτιστοποίησης Μεταφόρτωση σε CPU και NVMe Quiz

Εφαρμόστε λογιστική μνήμης εκφόρτωσης βελτιστοποίησης, τοποθέτηση ενημέρωσης κεντρικού υπολογιστή και ανταλλαγές μεταφοράς, συμπεριλαμβανομένου του γιατί η εκφόρτωση δεν καταργεί όλες τις εκχωρήσεις GPU.

Σχετικές διαδρομές οδηγώνΚατάσταση Optimizer Μεταφόρτωση σε Cpu και Nvme
Ερώτηση 1 του 8

Ποιος είναι ο πρωταρχικός στόχος της μεταφόρτωσης καταστάσεων βελτιστοποίησης σε CPU ή NVMe;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Ποιος είναι ο πρωταρχικός στόχος της μεταφόρτωσης καταστάσεων βελτιστοποίησης σε CPU ή NVMe;
    • Για να γίνει το μοντέλο πιο ακριβές
    • Για να μειωθεί ο αριθμός των απαιτούμενων εποχών εκπαίδευσης
    • Για να εξαλειφθεί εντελώς η ανάγκη για κλίσεις
    • Για να ταιριάζει σε μεγαλύτερα μοντέλα ελευθερώνοντας τη σπάνια μνήμη GPU
  2. For an Adam setup with two FP32 moments and an FP32 master weight, how much memory do those three values use per parameter?
    • Two bytes for all three values
    • Twelve bytes, excluding model weights and gradients
    • Sixteen bytes for the three values alone
    • Zero bytes because they are implicit
  3. Ποιο χαρακτηριστικό πλαισίου δημοφιλές εκφόρτωση βελτιστοποιητών μεγάλης κλίμακας;
    • Μια νέα λειτουργία ενεργοποίησης
    • Συμπίεση εικόνας JPEG
    • DeepSpeed ZeRO-Offload και ZeRO-Infinity
    • Απόκομμα ντεγκραντέ
  4. Ποιο είναι το κύριο κόστος απόδοσης της εκφόρτωσης σε CPU ή NVMe;
    • Τα δεδομένα πρέπει να ταξιδεύουν σε πιο αργούς συνδέσμους όπως το PCIe ή στο δίσκο, προσθέτοντας λανθάνουσα κατάσταση
    • Το μοντέλο ξεχνά την προηγούμενη εκπαίδευση
    • Το εργαλείο βελτιστοποίησης γίνεται μαθηματικά λανθασμένο
    • Η θερμοκρασία της GPU πέφτει πολύ χαμηλά
  5. Πώς τα συστήματα εκφόρτωσης κρύβουν μεγάλο μέρος της καθυστέρησης μεταφοράς;
    • Παρακάμπτοντας την αντίστροφη πάσα
    • Με επικάλυψη της προανάκτησης δεδομένων με συνεχή υπολογισμό GPU
    • Εκπαιδεύοντας μόνο μία παράμετρο τη φορά
    • Απενεργοποιώντας τη μικτή ακρίβεια
  6. Στο ZeRO-Offload, πού εκτελείται συχνά το βήμα βελτιστοποίησης Adam;
    • Εξ ολοκλήρου στον ελεγκτή NVMe
    • Σε ξεχωριστή οθόνη GPU
    • Στη CPU, χρησιμοποιώντας τα κύρια βάρη και τις στιγμές που είναι αποθηκευμένες εκεί
    • Μέσα στο διακόπτη δικτύου
  7. Optimizer states are offloaded, but GPU weights and activations still exceed capacity. What follows?
    • The job can still run out of GPU memory
    • Offloading guarantees the job fits any GPU
    • The optimizer moments automatically become model activations
    • The model no longer needs forward tensors
  8. A CPU-offloaded optimizer becomes the training bottleneck. Which measurement is most relevant?
    • Only the inference accuracy
    • The UI font used for training logs
    • Only the number of dataset classes
    • Host optimizer-update time and host-device transfer time