Questionário sobre mecanismos de atenção

As respostas e explicações aparecem conforme você responde ao teste.

1. What does token attention combine when forming an output representation?
   • Permanent copies of the entire conversation on disk
   • Value information from allowed positions using computed weights
   • Only manually chosen keywords with no learned scores
   • A translation dictionary that removes every other token
2. Qual artigo marcante de 2017 apresentou a arquitetura do transformador?
   • 'Aprendizagem residual profunda para reconhecimento de imagem'
   • 'Jogando Atari com Deep Reinforcement Learning'
   • ‘Atenção é tudo que você precisa’
   • 'Redes Adversariais Gerativas'
3. Quais são os três vetores calculados para cada token em atenção?
   • Consulta, chave e valor
   • Entrada, saída e polarização
   • Média, mediana e moda
   • Codificador, decodificador e perda
4. Na fórmula softmax(QK^T / √d_k) V, por que dividir por √d_k?
   • Para converter o resultado em números inteiros
   • Para remover números negativos
   • Para fazer o modelo rodar em uma GPU
   • Para evitar que as pontuações do produto escalar se tornem muito grandes antes do softmax
5. Why does dense self-attention involve growing pairwise work for very long token sequences?
   • Porque deve baixar novos dados da internet
   • Porque textos mais longos sempre contêm palavras mais raras
   • Porque o custo cresce com o quadrado do comprimento da sequência (O(n²))
   • Porque muda para uma linguagem de programação mais lenta
6. What capacity does multi-head attention provide through separate learned projections?
   • A guarantee that every head has one unique named meaning
   • Several attention representations that can capture different relationships in parallel
   • Removal of every token embedding
   • A reduction of vocabulary size by definition
7. In a scalar attention example, values two and six receive weights three-quarters and one-quarter. What is their weighted output?
   • Oito
   • Quatro
   • Dois
   • Três
8. What does a causal attention mask prevent in an autoregressive text decoder?
   • Using later token positions when forming the current position's representation
   • Using any previous token
   • Computing any query or key vectors
   • Learning all model parameters