Quiz lié à un guide · Difficile Niveau

Modèles spatiaux d'état et quiz Mamba

Testez la complexité des séquences d'espace d'état, la sélectivité Mamba, l'analyse sensible au matériel, l'état d'inférence récurrent et les modèles hybrides.

Chemins de guidage associésModèles spatiaux d’état et Mamba
Question 1 de 8

Comment un modèle d'espace d'état s'adapte-t-il à la longueur de la séquence, par rapport à l'auto-attention standard ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Comment un modèle d'espace d'état s'adapte-t-il à la longueur de la séquence, par rapport à l'auto-attention standard ?
    • Linéairement, par rapport à l'échelle quadratique de l'attention
    • Quadratiquement, par rapport à l'échelle linéaire de l'attention
    • Les deux échelles sont identiques
    • Exponentiellement pour les deux
  2. Quelle est l’innovation centrale que Mamba a ajoutée aux SSM structurés précédents comme S4 ?
    • Utiliser softmax attention en interne
    • Faire dépendre les paramètres de mise à jour de l'état de l'entrée (sélectivité)
    • Supprimer complètement l'état caché
    • Passer au calcul en temps quadratique
  3. Pourquoi Mamba avait-il besoin d'une analyse parallèle personnalisée tenant compte du matériel ?
    • Parce que les GPU ne peuvent pas faire de multiplication matricielle
    • Pour réduire le nombre de couches
    • Parce que rendre les paramètres dépendants de l'entrée brise le simple truc de convolution
    • Parce qu'il n'utilise aucun paramètre appris
  4. Lors de l'inférence, un avantage clé en termes d'efficacité d'un SSM comme Mamba est qu'il utilise :
    • Mémoire qui augmente avec la longueur totale de la séquence, comme un cache KV
    • Aucun souvenir du tout
    • Plus de mémoire qu'un Transformer de taille égale
    • Mémoire à peu près constante par jeton généré
  5. Dans les SSM structurés classiques (avant la sélectivité), la récurrence peut être calculée efficacement car elle peut être réécrite sous la forme :
    • Longue circonvolution
    • Fonctionnement Softmax
    • Arbre de décision
    • Forêt aléatoire
  6. Which language-modeling corpus did the Mamba paper use in its standard autoregressive scaling experiments?
    • ImageNet-1K
    • La pile
    • LibriSpeech only
    • D4RL
  7. In the Mamba block, what operation combines the selective-SSM output with the other projected branch?
    • A nearest-neighbor lookup over audio frames
    • A cross-attention layer over image patches
    • An elementwise multiplicative interaction with a gated branch
    • A graph-degree normalization step
  8. What language-modeling result does the Mamba paper report for its 3B model?
    • It requires a Transformer cache twice as large
    • It replaces the training corpus with audio only
    • It can be trained without any data
    • It matches Transformers twice its size in pretraining and downstream evaluation