Κουίζ που συνδέεται με οδηγό · Σκληρό Επίπεδο

Κουίζ κανονικοποίησης RMSNorm και Pre-Layer

Ελέγχει τα στατιστικά στοιχεία RMSNorm, την τοποθέτηση πριν από το LN, τις υπολειπόμενες διαδρομές και την κανονικοποίηση του κλειδιού ερωτήματος χωρίς να συγχέει αυτές τις ανεξάρτητες επιλογές σχεδίασης.

Σχετικές διαδρομές οδηγώνRmsnorm And Pre Layer Normalization
Ερώτηση 1 του 8

Τι παραλείπει το RMSNorm σε σύγκριση με το τυπικό LayerNorm;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Τι παραλείπει το RMSNorm σε σύγκριση με το τυπικό LayerNorm;
    • Μέση αφαίρεση (εκ νέου κεντράρισμα)
    • Η παράμετρος κλίμακας εκμάθησης
    • Η υπολειπόμενη σύνδεση
    • Η λειτουργία softmax
  2. Με ποια ποσότητα διαιρεί το RMSNorm κάθε διάνυσμα ενεργοποίησης;
    • Η διακύμανσή του
    • Η ρίζα του σημαίνει τετράγωνο
    • Η μέγιστη απόλυτη τιμή του
    • Ο κανόνας L1 του
  3. What gradient behavior does Pre-LN support at initialization in deep Transformers?
    • It guarantees stable training for every model without tuning
    • It removes the residual stream from the block
    • It can make gradients better behaved at initialization and reduce some stability problems
    • It makes all gradients exactly equal across layers
  4. Σε ένα μπλοκ Pre-LN, ποια διαδρομή αφήνει σκόπιμα ανέγγιχτη το επίπεδο κανονικοποίησης;
    • Τα βάρη τροφοδοσίας
    • Οι ενσωματώσεις συμβολαίων
    • Η έξοδος softmax
    • Η υπολειπόμενη (ταυτότητα) σύνδεση
  5. Ποιες σύγχρονες οικογένειες μοντέλων ανοιχτού βάρους χρησιμοποιούν το RMSNorm από προεπιλογή;
    • LLaMA, Mistral και Qwen
    • AlexNet και VGG
    • ResNet και Inception
    • Βάση BERT και το αρχικό Transformer
  6. Τι είναι το "QK-norm", μια πρόσφατη εφαρμογή του RMSNorm;
    • Κανονικοποίηση των τελικών logit εξόδου
    • Εφαρμογή RMSNorm σε ερωτήματα προσοχής και κλειδιά για τον έλεγχο της ανάπτυξης logit
    • Κβαντισμός της κρυφής μνήμης κλειδιού-τιμής
    • Ένας τρόπος για να παρακάμψετε εντελώς την κανονικοποίηση
  7. A feature vector has a nonzero mean before RMSNorm. What does the normalization do to that mean?
    • It always sets the mean exactly to zero
    • It replaces each feature with its rank
    • It does not explicitly subtract the mean, though rescaling can change its value
    • It subtracts the maximum activation from every feature
  8. How are RMSNorm and Pre-LN related as design choices?
    • They are two names for subtracting the mean
    • RMSNorm always means normalization after the residual
    • Pre-LN specifies the optimizer rather than the block
    • RMSNorm specifies the normalization calculation; Pre-LN specifies where normalization sits in the residual block