Questionário sobre Mamba e Espaços de Estado Seletivos

As respostas e explicações aparecem conforme você responde ao teste.

1. Qual é a principal vantagem computacional do Mamba sobre um Transformer padrão?
   • Ele é dimensionado linearmente com o comprimento da sequência em vez de quadraticamente
   • Não precisa de dados de treinamento
   • Só funciona em imagens
   • Elimina a necessidade de qualquer estado oculto
2. A que se refere a palavra 'seletivo' no Mamba?
   • Ele seleciona em qual GPU rodar
   • Seus parâmetros SSM dependem do token de entrada, então ele pode escolher o que lembrar ou esquecer
   • Ele seleciona apenas substantivos e verbos
   • Ele escolhe um subconjunto aleatório de tokens para ignorar
3. Como um modelo de espaço de estados representa a história de uma sequência?
   • Armazenando explicitamente todos os tokens anteriores
   • Desenhando um mapa de atenção sobre todos os pares
   • Comprimindo o histórico em um estado oculto de tamanho fixo, atualizado passo a passo
   • Não guarda nenhum histórico
4. Por que o Mamba não pode usar o atalho de convolução rápida usado pelos SSMs anteriores?
   • Porque as convoluções são ilegais em GPUs
   • Porque não tem parâmetros
   • Porque processa tokens em ordem aleatória
   • Como fazer quebras de parâmetros dependentes de entrada, as convoluções de invariância no tempo exigem
5. Que técnica o Mamba usa para permanecer rápido apesar de perder o atalho de convolução?
   • Uma varredura paralela com reconhecimento de hardware mantida na rápida memória da GPU
   • Executando inteiramente na CPU
   • Armazenando em cache todos os pares de tokens
   • Ignorando a maior parte da sequência
6. Quem apresentou o Mamba e aproximadamente quando?
   • OpenAI em 2018
   • Albert Gu e Tri Dao no final de 2023
   • Google em 2015
   • Ninguém, é hipotético
7. Which Mamba state-space parameters are made functions of the current input?
   • Only the fixed transition matrix A
   • The output vocabulary and tokenizer
   • B, C, and the step size delta
   • The attention query and key heads
8. What do the variable B, C, and delta parameters let Mamba do?
   • Build a growing key-value cache for every token
   • Route each token to an expert network only
   • Replace the state update with full all-pairs attention
   • Choose how much information to let into the state and how much to retain based on the input