Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Κουίζ FlashAttention

Ελέγξτε πώς το FlashAttention μειώνει την κυκλοφορία μνήμης υψηλού εύρους ζώνης ενώ υπολογίζει την ακριβή προσοχή και ποιο υλικό αλλάζει τους στόχους του FlashAttention-3.

Σχετικές διαδρομές οδηγώνFlashπροσοχή
Ερώτηση 1 του 8

Ποιοι είναι οι κύριοι στόχοι FlashAttention με προβλήματα συμφόρησης στην τυπική προσοχή;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Ποιοι είναι οι κύριοι στόχοι FlashAttention με προβλήματα συμφόρησης στην τυπική προσοχή;
    • Ανάγνωση και εγγραφή της μεγάλης μήτρας προσοχής σε αργή μνήμη GPU
    • Ο αριθμός των πολλαπλασιασμών κινητής υποδιαστολής
    • Το κόστος του tokenizing του κειμένου εισόδου
    • Καθυστέρηση δικτύου μεταξύ των GPU
  2. Πώς συγκρίνεται η έξοδος του FlashAttention με την τυπική προσοχή;
    • Είναι μια προσέγγιση που ανταλλάσσει την ακρίβεια με την ταχύτητα
    • Είναι μαθηματικά πανομοιότυπο (ακριβές)
    • Λειτουργεί μόνο για σύντομες ακολουθίες
    • Αλλάζει τα βάρη του μοντέλου
  3. Ποια μνήμη GPU εκμεταλλεύεται το FlashAttention επεξεργάζοντας δεδομένα σε πλακίδια;
    • Η μεγάλη αλλά αργή μνήμη υψηλού εύρους ζώνης (HBM)
    • Η μνήμη RAM της CPU
    • Το μικρό αλλά πολύ γρήγορο on-chip SRAM
    • Αποθήκευση δίσκου
  4. Ποια τεχνική επιτρέπει στο FlashAttention να υπολογίσει το softmax χωρίς να βλέπει όλες τις βαθμολογίες ταυτόχρονα;
    • Παρακάμπτοντας εντελώς το softmax
    • Στρογγυλοποίηση όλων των βαθμολογιών στο μηδέν
    • Προυπολογισμός softmax στην CPU
    • Διαδικτυακό (αυξητικό) softmax με τρέχουσα επανακλιμάκωση
  5. Επειδή ο πλήρης πίνακας προσοχής δεν αποθηκεύεται ποτέ στο HBM, η χρήση μνήμης κλιμακώνεται κατά προσέγγιση:
    • Γραμμικά με μήκος ακολουθίας
    • Τετραγωνικά με μήκος ακολουθίας
    • Εκθετικά με μήκος ακολουθίας
    • Ανεξάρτητα από το μήκος της ακολουθίας
  6. Which numeric format does FlashAttention-3 use in its Hopper-focused experiments to accelerate attention?
    • Only 64-bit floating point
    • FP8, with techniques to manage its numerical error
    • Integer text tokens
    • No reduced-precision format
  7. What work-partitioning change does FlashAttention-2 introduce to improve GPU parallelism?
    • It stores the complete attention matrix in HBM
    • It replaces attention with convolution
    • It reduces non-matrix-multiplication work and improves parallelization across thread blocks and warps
    • It uses only CPU execution
  8. In FlashAttention-3, what lets data movement overlap with computation?
    • Replacing attention with a lookup table
    • Computing all scores in host memory
    • Disabling the softmax step
    • Asynchronous execution on Hopper hardware