Κουίζ Block-Sparse και Native Sparse Attention Quiz

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Γιατί η τυπική αυτοπροσοχή είναι ακριβή για μεγάλες ακολουθίες;
   • Το κόστος του αυξάνεται τετραγωνικά με το μήκος της ακολουθίας
   • Χρησιμοποιεί πολύ λίγες παραμέτρους
   • Δεν μπορεί να τρέξει σε GPU
   • Ασχολείται μόνο με το πρώτο διακριτικό
2. Ποια είναι η βασική ιδέα της αραιής προσοχής;
   • Αφαίρεση των στρωμάτων τροφοδοσίας προς τα εμπρός
   • Υπολογισμός προσοχής μόνο μεταξύ επιλεγμένων μπλοκ διακριτικών
   • Χρησιμοποιώντας μόνο μία κεφαλή προσοχής
   • Διπλασιασμός της διάστασης ενσωμάτωσης
3. Τι κάνει το Native Sparse Attention (NSA) να ξεχωρίζει από πολλές προηγούμενες αραιές μεθόδους;
   • Αφαιρεί εντελώς την προσοχή
   • Λειτουργεί μόνο κατά την εξαγωγή συμπερασμάτων
   • Είναι εκπαιδεύσιμο από άκρο σε άκρο και ευθυγραμμισμένο με το υλικό
   • Δεν απαιτεί GPU
4. Ποιους τρεις κλάδους συνδυάζει η NSA για τα κλειδιά και τις αξίες της;
   • Κωδικοποιητής, αποκωδικοποιητής και ενσωμάτωση
   • Εγκατάλειψη, κανονικοποίηση και συγκέντρωση
   • Κβαντοποίηση, κλάδεμα και απόσταξη
   • Συμπίεση, επιλογή και συρόμενο παράθυρο
5. Γιατί η NSA χρησιμοποιεί λειτουργίες σε επίπεδο μπλοκ αντί για αυθαίρετη αραιότητα σε επίπεδο διακριτικών;
   • Για ευθυγράμμιση με την πρόσβαση στη μνήμη GPU και την απόδοση του τανυστικού πυρήνα για πραγματικές επιταχύνσεις
   • Για να γίνει το μοντέλο μεγαλύτερο
   • Για να αποφύγετε καθόλου τη χρήση της προσοχής
   • Για να μειώσετε τον αριθμό των στρώσεων
6. Κατά την αυτοπαλινδρομική αποκωδικοποίηση, η αραιή προσοχή είναι ιδιαίτερα χρήσιμη επειδή αυτό το βήμα είναι συχνά:
   • Υπολογισμός δεσμευμένου σε μήτρα πολλαπλασιάζεται
   • Δεσμεύεται στη μνήμη, επομένως η μείωση των κουπονιών που παρακολουθούνται το επιταχύνει
   • Ανεξάρτητο από το μήκος της ακολουθίας
   • Εκτελείται μόνο σε CPU
7. What information does NSA’s compression branch provide to the attention computation?
   • A full dense score for every token pair
   • Only the optimizer’s first moment
   • Coarse-grained summaries of blocks of tokens
   • A random subset of output labels
8. Why can learned sparsity patterns be more useful than a fixed arbitrary mask?
   • They remove the need to compute attention scores
   • They guarantee zero memory use
   • They force every token to attend globally
   • They can select blocks relevant to the input while remaining aligned with efficient hardware operations