Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Κουίζ για κύτταρα βραχυπρόθεσμης μνήμης

Δοκιμάστε τους ρόλους πύλης LSTM, τη διατήρηση της κατάστασης κυψέλης, τον έλεγχο εισόδου και εξόδου, ενημερώσεις προσθέτων, ροή κλίσης και όρια ακολουθίας.

Σχετικές διαδρομές οδηγώνΚυψέλες Μακροπρόθεσμης Μνήμης
Ερώτηση 1 του 8

In a common modern three-gate LSTM variant, which gates regulate cell information and exposed output?

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. In a common modern three-gate LSTM variant, which gates regulate cell information and exposed output?
    • Διαβάστε, γράψτε και εκτελέστε πύλες
    • Έναρξη, διακοπή και παύση των πυλών
    • Ξεχάστε τις πύλες εισόδου και εξόδου
    • Κωδικοποιήστε, αποκωδικοποιήστε και παρακολουθήστε τις πύλες
  2. What training difficulty was LSTM designed to mitigate?
    • Πάρα πολλές παραμέτρους για αποθήκευση
    • Vanishing gradients during learning over long sequences
    • Αδυναμία χρήσης GPU
    • Έλλειψη λειτουργίας ενεργοποίησης
  3. Ποιος εισήγαγε το LSTM και σε ποιο έτος;
    • Vaswani και συνεργάτες το 2017
    • Rumelhart και Hinton το 1986
    • LeCun και Bengio το 2012
    • Hochreiter και Schmidhuber το 1997
  4. In a common LSTM cell update, why can the additive cell-state path help gradient flow?
    • It reduces reliance on repeated multiplicative transformations across time steps
    • Πολλαπλασιάζει την κατάσταση με έναν μεγάλο αριθμό κάθε βήμα
    • Διαγράφει το κράτος σε κάθε βήμα
    • Παγώνει όλα τα βάρη κατά τη διάρκεια της προπόνησης
  5. Ποια λειτουργία ενεργοποίησης χρησιμοποιούν συνήθως οι πύλες LSTM για να λειτουργούν ως μαλακοί διακόπτες ενεργοποίησης/απενεργοποίησης;
    • ReLU, με έξοδο 0 στο άπειρο
    • Softmax πάνω από το λεξιλόγιο
    • Μια συνάρτηση βήματος που δίνει ακριβώς 0 ή 1
    • Σιγμοειδές, με έξοδο 0 έως 1
  6. Γιατί τα Transformers έχουν αντικαταστήσει σε μεγάλο βαθμό τα LSTM για μοντελοποίηση γλώσσας μεγάλης κλίμακας;
    • Οι μετασχηματιστές δεν μπορούν να χειριστούν καθόλου κείμενο
    • Τα LSTM δεν απαιτούν εκπαίδευση
    • Οι μετασχηματιστές παραλληλίζονται σε μια ακολουθία και αποτυπώνουν το ευρύτερο πλαίσιο μέσω της προσοχής
    • Οι μετασχηματιστές χρησιμοποιούν πολύ λιγότερους αριθμούς συνολικά
  7. If an LSTM forget gate is near one and its input gate near zero, what happens to the cell state?
    • It largely retains the previous state
    • It is forced to zero
    • It becomes the raw input token
    • It must reverse the sequence
  8. Which gate controls how much of an LSTM cell’s stored state is exposed as output?
    • The forget gate alone
    • The output gate
    • The optimizer momentum term
    • The positional encoding gate