Κουίζ που συνδέεται με οδηγό · Σκληρό Επίπεδο

Κουίζ Παραλληλισμού Ακολουθίας και Προσοχής Κουδουνιού

Εξασκηθείτε στις μεταφορές μπλοκ Ring Attention, στο διαδικτυακό softmax και στην αιτιώδη εξισορρόπηση φορτίου, συμπεριλαμβανομένων των ορίων επικοινωνίας που επικαλύπτονται μεταξύ των συσκευών.

Σχετικές διαδρομές οδηγώνΠαραλληλισμός ακολουθίας και προσοχή δακτυλίου
Ερώτηση 1 του 8

Σε ποια διάσταση χωρίζει τα δεδομένα ο παραλληλισμός ακολουθιών;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Σε ποια διάσταση χωρίζει τα δεδομένα ο παραλληλισμός ακολουθιών;
    • Η διάσταση κρυφού/χαρακτηριστικού
    • Η διάσταση συμβολική (ακολουθία).
    • Μόνο η διάσταση παρτίδας
    • Ο αριθμός των στρωμάτων
  2. Τι περνάει το Ring Attention μεταξύ των GPU που είναι διατεταγμένα σε ένα δαχτυλίδι;
    • Πλήρη βάρη μοντέλου
    • Καταστάσεις Optimizer
    • Τελικά logits
    • Μπλοκ κλειδιών/τιμών
  3. How can Ring Attention combine partial attention blocks without approximating the full attention pattern?
    • Online softmax with a running maximum and normalizer
    • Randomly dropping unseen key blocks
    • Truncating every distant key
    • Replacing all attention scores with zeros
  4. Γιατί το Ring Attention δεν απαιτεί καμία μεμονωμένη GPU για την αποθήκευση του πλήρους K/V;
    • Απορρίπτει τα περισσότερα κλειδιά
    • Χρησιμοποιεί ένα μικρότερο μοντέλο
    • Το K/V μεταδίδεται σε μπλοκ και συσσωρεύονται μόνο μερικά αποτελέσματα
    • Η προσοχή είναι κατά προσέγγιση, όχι ακριβής
  5. When can Ring Attention reduce the exposed time spent transferring K/V blocks?
    • Whenever the model has any number of parameters
    • Only when every device stores the full sequence
    • By eliminating all transfers between devices
    • When useful block computation overlaps those transfers
  6. Ποια επιπλοκή δημιουργεί η αιτιώδης κάλυψη για την εξισορρόπηση φορτίου Ring Attention;
    • Κάνει το μοντέλο μη διαφοροποιήσιμο
    • Τα μεταγενέστερα token παρακολουθούν περισσότερα κλειδιά, προκαλώντας άνιση εργασία ανά GPU
    • Αφαιρεί την ανάγκη για δαχτυλίδι
    • Διπλασιάζει τον αριθμό των παραμέτρων
  7. A new Ring Attention block has larger attention scores than previous blocks. Why rescale the earlier softmax sums?
    • To discard the earlier keys permanently
    • To replace all token embeddings
    • To keep accumulated terms consistent with the updated running maximum
    • Για να μειώσετε το μέγεθος του λεξιλογίου
  8. Under causal masking with contiguous sequence shards, which tokens can require more attention work?
    • Later tokens that can attend to more preceding positions
    • All tokens require exactly one key
    • Only padding tokens at the start
    • Earlier tokens because they can see the future