Προσοχή Rollout και Head Pruning Quiz

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Ποιος είναι ο στόχος της διάθεσης προσοχής;
   • Για τον εντοπισμό αθροιστικής ροής πληροφοριών από τα διακριτικά εισόδου σε εξόδους στα επίπεδα
   • Για να προσθέσετε περισσότερα επίπεδα σε έναν μετασχηματιστή
   • Για την αύξηση του ποσοστού μάθησης
   • Για να μετατρέψετε την προσοχή σε συνέλιξη
2. Γιατί ο χάρτης προσοχής ενός μόνο στρώματος είναι συχνά ανεπαρκής για εξήγηση;
   • Η προσοχή δεν υπολογίζεται ποτέ
   • Οι πληροφορίες αναμειγνύονται σε πολλά επίπεδα και κεφαλές, επομένως ένας χάρτης χάνει την πλήρη διαδρομή
   • Οι χάρτες είναι πάντα ομοιόμορφοι
   • Οι μετασχηματιστές έχουν μόνο μία κεφαλή
3. Τι προσθέτει η ανάπτυξη προσοχής σε κάθε πίνακα προσοχής για να ληφθούν υπόψη οι υπολειπόμενες συνδέσεις;
   • Μηδενική προκατάληψη
   • Ένας όρος τυχαίου θορύβου
   • Ένα στοιχείο μήτρας ταυτότητας πριν από την κανονικοποίηση
   • Ένα επιπλέον softmax
4. Τι αποκάλυψε η έρευνα για την προσοχή πολλών κεφαλών για τον πλεονασμό του κεφαλιού;
   • Κάθε κεφάλι είναι απαραίτητο
   • Τα κεφάλια δεν μπορούν να αφαιρεθούν
   • Το κλάδεμα πάντα διπλασιάζει την ακρίβεια
   • Πολλά κεφάλια μπορούν να κλαδευτούν με μικρή απώλεια ακρίβειας
5. Πώς εκτιμάται συνήθως η σημασία μιας κεφαλής για το κλάδεμα;
   • Μέσω της διαβάθμισης ευαισθησίας της απώλειας σε μια μάσκα κεφαλής
   • Με την αλφαβητική του θέση
   • Μετρώντας μόνο τις παραμέτρους του
   • Μέχρι την ώρα της ημέρας
6. What different jobs do attention rollout and head pruning each do?
   • Είναι πανομοιότυπες τεχνικές
   • Το Rollout βοηθά στην ερμηνεία ενώ το κλάδεμα εκμεταλλεύεται τον πλεονασμό για τη συμπίεση μοντέλων
   • Και τα δύο προσθέτουν μόνο παραμέτρους
   • Κανένα από τα δύο δεν αγγίζει την προσοχή
7. In an attention-rollout calculation, why are residual paths included with layer attention?
   • To make every head have the same weight
   • To remove the value vectors from the Transformer
   • To approximate information that can pass along the identity path when layer transitions are composed
   • To prevent the attention matrix from being normalized
8. How should an attention-rollout score be interpreted?
   • As proof that a token caused the output
   • As the exact value vector used at every layer
   • As a measure of how many heads the model contains
   • As a post-hoc approximation of relative token influence, not a causal explanation