Κουίζ που συνδέεται με οδηγό · Σκληρό Επίπεδο

Flash Προσοχή Κουίζ

Δοκιμάζει το πλακίδιο του FlashAttention με επίγνωση IO, το διαδικτυακό softmax, την ακριβή προσοχή, την κλιμάκωση ακολουθίας και τη διαφορά μεταξύ κίνησης μνήμης και υπολογισμού.

Σχετικές διαδρομές οδηγώνFlash Προσοχή
Ερώτηση 1 του 8

Ποιο είναι το κύριο σημείο συμφόρησης που στοχεύει το Flash Attention;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Ποιο είναι το κύριο σημείο συμφόρησης που στοχεύει το Flash Attention;
    • Ανάγνωση και εγγραφή της μεγάλης μήτρας προσοχής σε αργή μνήμη GPU
    • Ο αριθμός των πολλαπλασιασμών κινητής υποδιαστολής στην προσοχή
    • Το κόστος φόρτωσης βαρών μοντέλου από δίσκο
    • Καθυστέρηση δικτύου μεταξύ πολλαπλών GPU
  2. Πώς το Flash Attention αποφεύγει την αποθήκευση του πλήρους πίνακα προσοχής N-by-N;
    • Προσεγγίζει την προσοχή με τυχαίες προβολές
    • Επεξεργάζεται ερωτήματα, κλειδιά και τιμές σε μικρά πλακίδια και συνδυάζει μερικά αποτελέσματα
    • Παρακάμπτει τελείως τα περισσότερα ζεύγη διακριτικών
    • Συμπιέζει τη μήτρα με κβαντοποίηση
  3. Ποια τεχνική επιτρέπει στο Flash Attention να υπολογίσει σωστά το softmax χωρίς να βλέπει ολόκληρη τη σειρά ταυτόχρονα;
    • Ένας προυπολογισμένος πίνακας αναζήτησης εκθετικών
    • Ρίχνοντας το softmax και χρησιμοποιώντας μια γραμμική προσέγγιση
    • Ένα τρέχον (διαδικτυακό) softmax που παρακολουθεί ένα τρέχον μέγιστο και άθροισμα
    • Ταξινόμηση βαθμολογιών πριν από την κανονικοποίηση
  4. Σε σύγκριση με την τυπική προσοχή, η έξοδος του Flash Attention είναι:
    • Μια πρόχειρη προσέγγιση που ανταλλάσσει την ακρίβεια με την ταχύτητα
    • Πιο ακριβές λόγω υψηλότερης ακρίβειας
    • Ισχύει μόνο για σύντομες σεκάνς
    • Μαθηματικά πανομοιότυπο, μόλις υπολογιστεί πιο αποτελεσματικά
  5. Γιατί το Flash Attention βοηθά περισσότερο στις μεγάλες ακολουθίες;
    • Επειδή η μνήμη της προσοχής αυξάνεται τετραγωνικά με το μήκος της ακολουθίας
    • Επειδή οι μεγαλύτερες ακολουθίες χρειάζονται λιγότερα στρώματα
    • Επειδή το softmax καθίσταται περιττό για μεγάλες εισόδους
    • Επειδή οι GPU λειτουργούν πιο αργά σε σύντομες ακολουθίες
  6. Τι δίνει προτεραιότητα στην ελαχιστοποίηση της σχεδίασης «IO-aware» του Flash Attention;
    • Ο αριθμός των παραμέτρων του μοντέλου
    • Η μνήμη διαβάζει και γράφει μεταξύ SRAM και HBM
    • Το βάθος του νευρωνικού δικτύου
    • Το μέγεθος του λεξιλογίου του tokenizer
  7. What remains computationally quadratic for dense exact self-attention even when FlashAttention reduces memory traffic?
    • The number of model layers must double
    • Every token is compared with only one other token
    • The number of query-key pair interactions grows with the square of sequence length
    • The number of model parameters becomes zero
  8. Why can FlashAttention’s results differ slightly from a reference implementation despite computing the same mathematical attention?
    • It intentionally drops all long-distance tokens
    • It changes the model weights during inference
    • It replaces softmax with a random sample
    • Floating-point operations can occur in a different order during tiled accumulation