Prueba de Mamba y espacios estatales selectivos

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Cuál es la principal ventaja computacional de Mamba sobre un Transformer estándar?
   • Se escala linealmente con la longitud de la secuencia en lugar de cuadráticamente
   • No necesita datos de entrenamiento.
   • Sólo funciona en imágenes.
   • Elimina la necesidad de cualquier estado oculto.
2. ¿A qué se refiere la palabra 'selectivo' en Mamba?
   • Selecciona en qué GPU ejecutar
   • Sus parámetros SSM dependen del token de entrada, por lo que puede elegir qué recordar u olvidar.
   • Selecciona solo sustantivos y verbos.
   • Elige un subconjunto aleatorio de tokens para ignorar.
3. ¿Cómo representa un modelo de espacio de estados la historia de una secuencia?
   • Almacenando cada token anterior explícitamente
   • Dibujando un mapa de atención sobre todos los pares.
   • Al comprimir el historial en un estado oculto de tamaño fijo, se actualiza paso a paso
   • No guarda ningún historial.
4. ¿Por qué Mamba no puede usar el atajo de convolución rápida que usaban los SSM anteriores?
   • Porque las convoluciones son ilegales en las GPU
   • Porque no tiene parametros
   • Porque procesa tokens en orden aleatorio.
   • Debido a que hacer que los parámetros dependan de la entrada se rompe, las convoluciones de invariancia en el tiempo requieren
5. ¿Qué técnica utiliza Mamba para mantenerse rápido a pesar de perder el atajo de convolución?
   • Un escaneo paralelo con reconocimiento de hardware guardado en la rápida memoria de la GPU
   • Ejecutándose completamente en la CPU
   • Almacenamiento en caché de todos los pares de tokens
   • Saltarse la mayor parte de la secuencia
6. ¿Quién presentó a Mamba y aproximadamente cuándo?
   • OpenAI en 2018
   • Albert Gu y Tri Dao a finales de 2023
   • Google en 2015
   • Nadie, es hipotético.
7. Which Mamba state-space parameters are made functions of the current input?
   • Only the fixed transition matrix A
   • The output vocabulary and tokenizer
   • B, C, and the step size delta
   • The attention query and key heads
8. What do the variable B, C, and delta parameters let Mamba do?
   • Build a growing key-value cache for every token
   • Route each token to an expert network only
   • Replace the state update with full all-pairs attention
   • Choose how much information to let into the state and how much to retain based on the input