Questionário vinculado ao guia · Difícil Nível

Modelos de espaço de estado e questionário Mamba

Teste a complexidade da sequência de espaço de estado, a seletividade do Mamba, a varredura com reconhecimento de hardware, o estado de inferência recorrente e os modelos híbridos.

Caminhos de guia relacionadosModelos de Espaço de Estado e Mamba
Pergunta 1 de 8

Como um modelo de espaço de estados é dimensionado com comprimento de sequência, em comparação com a autoatenção padrão?

Visualize cada pergunta8 perguntas

As respostas e explicações aparecem conforme você responde ao teste.

  1. Como um modelo de espaço de estados é dimensionado com comprimento de sequência, em comparação com a autoatenção padrão?
    • Linearmente, versus escala quadrática da atenção
    • Quadraticamente, versus escala linear da atenção
    • Ambos escalam de forma idêntica
    • Exponencialmente para ambos
  2. Qual é a inovação central que o Mamba adicionou aos SSMs estruturados anteriores como o S4?
    • Usando a atenção softmax internamente
    • Fazendo com que os parâmetros de atualização de estado dependam da entrada (seletividade)
    • Removendo totalmente o estado oculto
    • Mudando para cálculo de tempo quadrático
  3. Por que o Mamba precisava de uma varredura paralela personalizada com reconhecimento de hardware?
    • Porque as GPUs não podem fazer multiplicação de matrizes
    • Para reduzir o número de camadas
    • Porque tornar os parâmetros dependentes da entrada quebra o truque simples de convolução
    • Porque não usa parâmetros aprendidos
  4. Durante a inferência, uma vantagem chave de eficiência de um SSM como o Mamba é que ele usa:
    • Memória que cresce com o comprimento total da sequência, como um cache KV
    • Sem memória alguma
    • Mais memória que um Transformer de tamanho igual
    • Memória aproximadamente constante por token gerado
  5. Em SSMs estruturados clássicos (antes da seletividade), a recorrência pode ser calculada de forma eficiente porque pode ser reescrita como:
    • Convolução longa
    • Operação Softmax
    • Árvore de decisão
    • Floresta aleatória
  6. Which language-modeling corpus did the Mamba paper use in its standard autoregressive scaling experiments?
    • ImageNet-1K
    • A pilha
    • LibriSpeech only
    • D4RL
  7. In the Mamba block, what operation combines the selective-SSM output with the other projected branch?
    • A nearest-neighbor lookup over audio frames
    • A cross-attention layer over image patches
    • An elementwise multiplicative interaction with a gated branch
    • A graph-degree normalization step
  8. What language-modeling result does the Mamba paper report for its 3B model?
    • It requires a Transformer cache twice as large
    • It replaces the training corpus with audio only
    • It can be trained without any data
    • It matches Transformers twice its size in pretraining and downstream evaluation