Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Κουίζ μοτίβων αραιής προσοχής

Συγκρίνετε τοπικές, διευρυμένες, τυχαίες και καθολικές συνδέσεις αραιής προσοχής και πώς οι βελτιστοποιημένοι πυρήνες παρακάμπτουν τις αχρησιμοποίητες εγγραφές σε επεξεργασία μακράς εισόδου.

Σχετικές διαδρομές οδηγώνΜοτίβα αραιής προσοχής
Ερώτηση 1 του 8

Γιατί η πλήρης αυτοπροσοχή είναι ακριβή σε μεγάλες ακολουθίες;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Γιατί η πλήρης αυτοπροσοχή είναι ακριβή σε μεγάλες ακολουθίες;
    • Το κόστος του αυξάνεται με το τετράγωνο του μήκους της ακολουθίας
    • Δεν μπορεί να χρησιμοποιήσει GPU
    • Λειτουργεί μόνο με μικρές λέξεις
    • Δεν απαιτεί καθόλου μνήμη
  2. Τι είναι η συρόμενη (τοπική) προσοχή;
    • Κάθε διακριτικό παρακολουθεί μια τυχαία βάση δεδομένων
    • Κάθε κουπόνι φροντίζει μόνο τους κοντινούς γείτονές του
    • Οι μάρκες δεν ασχολούνται ποτέ με τίποτα
    • Κάθε διακριτικό παρακολουθεί όλα τα διακριτικά δύο φορές
  3. Ποιος είναι ο σκοπός των «παγκόσμιων μαρκών» με αραιή προσοχή;
    • Για να επιβραδύνει το μοντέλο
    • Για αποθήκευση εικόνων
    • Να λειτουργούν ως κόμβοι που ασχολούνται με τα πάντα και που τα πάντα φροντίζουν
    • Να αντικαταστήσει το λεξιλόγιο
  4. Ποιο μοντέλο απέδειξε ότι ο συνδυασμός τυχαίας, παραθύρου και συνολικής προσοχής διατηρεί την εκφραστικότητα με πλήρη προσοχή;
    • ResNet
    • Word2Vec
    • AlexNet
    • BigBird
  5. Πώς περίπου κλιμακώνεται ο αριθμός των συνδέσεων σε καλά σχεδιασμένη αραιή προσοχή;
    • Χονδρικά γραμμικά με μήκος ακολουθίας
    • Τετραγωνικά με μήκος ακολουθίας
    • Δεν εξαρτάται από το μήκος
    • Εκθετικά με μήκος ακολουθίας
  6. What do strided or dilated sparse-attention patterns allow?
    • Τα υπολογίζει και μετά τα μηδενίζει
    • Skip ahead to reach distant context with fewer attention links
    • Τα στέλνει σε άλλο διακομιστή
    • Τα αποθηκεύει μόνιμα
  7. How does Longformer combine local and global attention?
    • Every token attends to every other token
    • Only random edges are allowed
    • Most tokens use a sliding local window, while selected global tokens connect across the sequence
    • Each token attends only to the final token
  8. What is the goal of learned, content-based sparse attention?
    • A full dense connection to every token
    • A rule for removing all future tokens
    • A learned vocabulary for each attention head
    • Avoid spending attention compute and memory on content unrelated to the current query