Quiz Mamba et espaces d'états sélectifs

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Quel est le principal avantage informatique de Mamba par rapport à un Transformer standard ?
   • Il évolue linéairement avec la longueur de la séquence au lieu de quadratiquement
   • Il ne nécessite aucune donnée de formation
   • Cela ne fonctionne que sur les images
   • Cela supprime le besoin de tout état caché
2. À quoi fait référence le mot « sélectif » dans Mamba ?
   • Il sélectionne le GPU sur lequel exécuter
   • Ses paramètres SSM dépendent du jeton d'entrée, il peut donc choisir ce qu'il faut retenir ou oublier
   • Il sélectionne uniquement les noms et les verbes
   • Il sélectionne un sous-ensemble aléatoire de jetons à ignorer
3. Comment un modèle d’espace d’état représente-t-il l’histoire d’une séquence ?
   • En stockant explicitement chaque jeton précédent
   • En dessinant une carte d'attention sur toutes les paires
   • En compressant l'historique dans un état caché de taille fixe mis à jour étape par étape
   • Il ne garde aucun historique
4. Pourquoi Mamba ne peut-il pas utiliser le raccourci de convolution rapide utilisé par les SSM précédents ?
   • Parce que les convolutions sont illégales sur les GPU
   • Parce qu'il n'a pas de paramètres
   • Parce qu'il traite les jetons dans un ordre aléatoire
   • Parce que rendre les paramètres dépendants de l'entrée interrompt les convolutions d'invariance temporelle requises
5. Quelle technique Mamba utilise-t-il pour rester rapide malgré la perte du raccourci de convolution ?
   • Une analyse parallèle sensible au matériel conservée dans la mémoire GPU rapide
   • Fonctionnant entièrement sur le processeur
   • Mise en cache de toutes les paires de jetons
   • Sauter la majeure partie de la séquence
6. Qui a introduit Mamba et quand environ ?
   • OpenAI en 2018
   • Albert Gu et Tri Dao fin 2023
   • Google en 2015
   • Personne, c'est hypothétique
7. Which Mamba state-space parameters are made functions of the current input?
   • Only the fixed transition matrix A
   • The output vocabulary and tokenizer
   • B, C, and the step size delta
   • The attention query and key heads
8. What do the variable B, C, and delta parameters let Mamba do?
   • Build a growing key-value cache for every token
   • Route each token to an expert network only
   • Replace the state update with full all-pairs attention
   • Choose how much information to let into the state and how much to retain based on the input