Cuestionario vinculado a una guía · duro Nivel

Modelos de espacio de estados y prueba Mamba

Pruebe la complejidad de la secuencia del espacio de estados, la selectividad de Mamba, el escaneo con reconocimiento de hardware, el estado de inferencia recurrente y los modelos híbridos.

Rutas de guía relacionadasModelos de espacio de estados y mamba
Pregunta 1 de 8

¿Cómo se escala un modelo de espacio de estados con la longitud de la secuencia, en comparación con la autoatención estándar?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Cómo se escala un modelo de espacio de estados con la longitud de la secuencia, en comparación con la autoatención estándar?
    • Linealmente, frente a la escala cuadrática de la atención
    • Cuadráticamente, frente a la escala lineal de la atención
    • Ambos escalan de manera idéntica
    • Exponencialmente para ambos
  2. ¿Cuál es la innovación central que Mamba agregó a SSM estructurados anteriores como S4?
    • Usando la atención softmax internamente
    • Hacer que los parámetros de actualización de estado dependan de la entrada (selectividad)
    • Eliminar el estado oculto por completo
    • Cambiar al cálculo de tiempo cuadrático
  3. ¿Por qué Mamba necesitaba un escaneo paralelo personalizado con reconocimiento de hardware?
    • Porque las GPU no pueden realizar multiplicaciones de matrices
    • Para reducir el número de capas.
    • Porque hacer que los parámetros dependan de la entrada rompe el simple truco de convolución
    • Porque no utiliza parámetros aprendidos.
  4. Durante la inferencia, una ventaja clave de eficiencia de un SSM como Mamba es que utiliza:
    • Memoria que crece con la longitud completa de la secuencia, como un caché KV
    • Sin memoria en absoluto
    • Más memoria que un Transformer del mismo tamaño
    • Memoria aproximadamente constante por token generado
  5. En los SSM estructurados clásicos (antes de la selectividad), la recurrencia se puede calcular de manera eficiente porque se puede reescribir como:
    • convolución larga
    • operación softmax
    • Árbol de decisión
    • bosque aleatorio
  6. Which language-modeling corpus did the Mamba paper use in its standard autoregressive scaling experiments?
    • ImageNet-1K
    • la pila
    • LibriSpeech only
    • D4RL
  7. In the Mamba block, what operation combines the selective-SSM output with the other projected branch?
    • A nearest-neighbor lookup over audio frames
    • A cross-attention layer over image patches
    • An elementwise multiplicative interaction with a gated branch
    • A graph-degree normalization step
  8. What language-modeling result does the Mamba paper report for its 3B model?
    • It requires a Transformer cache twice as large
    • It replaces the training corpus with audio only
    • It can be trained without any data
    • It matches Transformers twice its size in pretraining and downstream evaluation