Κουίζ που συνδέεται με οδηγό · Σκληρό Επίπεδο

State Space Models και Mamba Quiz

Δοκιμή πολυπλοκότητας ακολουθίας κατάστασης-χώρου, επιλεκτικότητα Mamba, σάρωση με επίγνωση υλικού, κατάσταση επαναλαμβανόμενης συμπερασμάτων και υβριδικά μοντέλα.

Σχετικές διαδρομές οδηγώνΚρατικά Διαστημικά Μοντέλα και Μάμπα
Ερώτηση 1 του 8

Πώς κλιμακώνεται ένα μοντέλο χώρου κατάστασης με μήκος ακολουθίας, σε σύγκριση με την τυπική αυτοπροσοχή;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Πώς κλιμακώνεται ένα μοντέλο χώρου κατάστασης με μήκος ακολουθίας, σε σύγκριση με την τυπική αυτοπροσοχή;
    • Γραμμικά, έναντι της τετραγωνικής κλιμάκωσης της προσοχής
    • Τετραγωνικά, έναντι της γραμμικής κλιμάκωσης της προσοχής
    • Και τα δύο κλιμακώνονται πανομοιότυπα
    • Εκθετικά και για τα δύο
  2. Ποια είναι η κεντρική καινοτομία που πρόσθεσε το Mamba σε προηγούμενα δομημένα SSM όπως το S4;
    • Εσωτερική χρήση της προσοχής softmax
    • Κάνοντας τις παραμέτρους ενημέρωσης κατάστασης να εξαρτώνται από την είσοδο (επιλεκτικότητα)
    • Αφαίρεση της κρυφής κατάστασης εντελώς
    • Μετάβαση σε υπολογισμό τετραγωνικού χρόνου
  3. Γιατί το Mamba χρειάστηκε μια προσαρμοσμένη παράλληλη σάρωση με γνώση υλικού;
    • Επειδή οι GPU δεν μπορούν να κάνουν πολλαπλασιασμό μήτρας
    • Για να μειώσετε τον αριθμό των στρώσεων
    • Επειδή η δημιουργία παραμέτρων που εξαρτώνται από την είσοδο σπάει το απλό τέχνασμα συνέλιξης
    • Επειδή δεν χρησιμοποιεί μαθημένες παραμέτρους
  4. Κατά τη διάρκεια της εξαγωγής συμπερασμάτων, ένα βασικό πλεονέκτημα αποδοτικότητας ενός SSM όπως το Mamba είναι ότι χρησιμοποιεί:
    • Μνήμη που μεγαλώνει με το πλήρες μήκος της ακολουθίας, όπως μια κρυφή μνήμη KV
    • Καμία μνήμη καθόλου
    • Περισσότερη μνήμη από έναν μετασχηματιστή ίσου μεγέθους
    • Περίπου σταθερή μνήμη ανά διακριτικό που δημιουργείται
  5. Στα κλασικά δομημένα SSM (πριν από την επιλεκτικότητα), η επανάληψη μπορεί να υπολογιστεί αποτελεσματικά επειδή μπορεί να ξαναγραφτεί ως:
    • Μακρά συνέλιξη
    • Λειτουργία Softmax
    • Δέντρο απόφασης
    • Τυχαίο δάσος
  6. Which language-modeling corpus did the Mamba paper use in its standard autoregressive scaling experiments?
    • ImageNet-1K
    • Ο Σωρός
    • LibriSpeech only
    • D4RL
  7. In the Mamba block, what operation combines the selective-SSM output with the other projected branch?
    • A nearest-neighbor lookup over audio frames
    • A cross-attention layer over image patches
    • An elementwise multiplicative interaction with a gated branch
    • A graph-degree normalization step
  8. What language-modeling result does the Mamba paper report for its 3B model?
    • It requires a Transformer cache twice as large
    • It replaces the training corpus with audio only
    • It can be trained without any data
    • It matches Transformers twice its size in pretraining and downstream evaluation