Questionário vinculado ao guia · Médio Nível
Questionário sobre padrões de atenção escassa
Compare conexões de atenção esparsa locais, dilatadas, aleatórias e globais e como os kernels otimizados ignoram entradas não utilizadas no processamento de entrada longa.
Pergunta 1 de 8
Por que a autoatenção total é cara em sequências longas?
Visualize cada pergunta8 perguntas
As respostas e explicações aparecem conforme você responde ao teste.
- Por que a autoatenção total é cara em sequências longas?
- Seu custo aumenta com o quadrado do comprimento da sequência
- Não pode usar GPUs
- Funciona apenas com palavras curtas
- Não requer nenhuma memória
- O que é atenção em janela deslizante (local)?
- Cada token atende a um banco de dados aleatório
- Cada token atende apenas seus vizinhos próximos
- Os tokens nunca atendem a nada
- Cada token atende todos os tokens duas vezes
- Qual é o propósito dos ‘tokens globais’ em atenção escassa?
- Para desacelerar o modelo
- Para armazenar imagens
- Atuar como hubs que atendem tudo e que tudo atende
- Para substituir o vocabulário
- Qual modelo provou que a combinação de atenção aleatória, de janela e global mantém a expressividade da atenção total?
- ResNet
- Word2Vec
- Alex Net
- Pássaro Grande
- Aproximadamente como o número de conexões aumenta na atenção escassa bem projetada?
- Aproximadamente linearmente com comprimento de sequência
- Quadraticamente com comprimento de sequência
- Não depende do comprimento
- Exponencialmente com comprimento de sequência
- What do strided or dilated sparse-attention patterns allow?
- Calcula-os e depois os define como zero
- Skip ahead to reach distant context with fewer attention links
- Envia-os para outro servidor
- Armazena-os permanentemente
- How does Longformer combine local and global attention?
- Every token attends to every other token
- Only random edges are allowed
- Most tokens use a sliding local window, while selected global tokens connect across the sequence
- Each token attends only to the final token
- What is the goal of learned, content-based sparse attention?
- A full dense connection to every token
- A rule for removing all future tokens
- A learned vocabulary for each attention head
- Avoid spending attention compute and memory on content unrelated to the current query