Κουίζ SwiGLU και Gated Activations

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Ποια βασική λειτουργία ορίζει μια περιφραγμένη γραμμική μονάδα;
   • Πολλαπλασιασμός κατά στοιχείο μιας προβολής με μια ενεργοποιημένη δεύτερη προβολή
   • Προσθέτοντας δύο γραμμικές προβολές μαζί
   • Συνδεόμενες κεφαλές προσοχής
   • Διαιρώντας τις ενεργοποιήσεις με τον κανόνα τους
2. Ποια λειτουργία ενεργοποίησης χρησιμοποιεί το SwiGLU για τον κλάδο πύλης του;
   • Το ReLU
   • Swish (SiLU)
   • Tanh
   • Το Softmax
3. Πόσες μήτρες βάρους χρησιμοποιεί ένα μπλοκ τροφοδοσίας SwiGLU;
   • Ένα
   • Δύο
   • Τρεις
   • Τέσσερα
4. Γιατί η κρυφή διάσταση συνήθως κλιμακώνεται στα δύο τρίτα περίπου στα επίπεδα SwiGLU;
   • Για τη βελτίωση της αριθμητικής ακρίβειας
   • Για να γίνει το μοντέλο βαθύτερο
   • Για να αφαιρέσετε την ανάγκη για κανονικοποίηση
   • Για να διατηρήσετε τις συνολικές παραμέτρους και τα FLOP συγκρίσιμα με ένα τυπικό MLP παρά τον επιπλέον πίνακα
5. Μια ξεχωριστή ιδιότητα του Swish σε σύγκριση με το ReLU είναι ότι είναι:
   • Απαλό και μη μονοτονικό, επιτρέποντας μικρά αρνητικά
   • Αυστηρά αυξανόμενη και περιορισμένη στο 1
   • Πανομοιότυπο με τη σιγμοειδή συνάρτηση
   • Ορίζεται μόνο για θετικές εισροές
6. Ποιος έκανε δημοφιλή το SwiGLU για στρώματα τροφοδοσίας μετασχηματιστών το 2020;
   • Τζέφρι Χίντον
   • Noam Shazeer
   • Γιαν ΛεΚούν
   • Andrej Karpathy
7. In the SwiGLU product Swish(xW) multiplied by xV, what happens when one gate value is near zero?
   • The entire Transformer layer is skipped
   • The output projection is replaced by a sigmoid
   • The matching value-branch dimension contributes little to the output
   • The value branch is permanently frozen
8. Why can keeping a standard MLP’s hidden width unchanged increase SwiGLU cost?
   • The SiLU gate removes the output projection
   • SwiGLU computes a full Hessian
   • The value branch has no learned weights
   • SwiGLU uses an extra projection matrix, so the comparable-width design would have more parameters and FLOPs