Questionário de atenção cruzada

As respostas e explicações aparecem conforme você responde ao teste.

1. Qual é a principal diferença entre autoatenção e atenção cruzada?
   • Na atenção cruzada, as consultas vêm de uma sequência e as chaves/valores de outra
   • Atenção cruzada não usa softmax
   • A autoatenção funciona apenas em imagens
   • A atenção cruzada não pode ser treinada com descida gradiente
2. Em um Transformer codificador-decodificador, de onde vêm as consultas de atenção cruzada?
   • As saídas do codificador
   • O estado atual do decodificador
   • Apenas os embeddings de entrada bruta
   • Uma matriz aleatória separada
3. Por que as duas sequências de atenção cruzada podem ter durações ou modalidades diferentes?
   • Porque a atenção requer entradas de comprimento igual
   • Porque ignora completamente uma das sequências
   • Porque as consultas e chaves vêm de fontes diferentes e independentes
   • Porque ele preenche tudo primeiro para um tamanho fixo
4. Como a Difusão Estável usa atenção cruzada?
   • Para compactar imagens em arquivos menores
   • Para traduzir texto entre idiomas
   • Para remover ruído do áudio
   • Para condicionar regiões de imagem geradas no prompt de texto
5. Que operação matemática a atenção cruzada compartilha com a autoatenção?
   • Atenção dimensionada ao produto escalar com um softmax
   • Convolução sobre pixels
   • Atualizações de estado recorrentes
   • Tabelas de pesquisa codificadas
6. What gate does Flamingo use to control information flow through its cross-attention layers?
   • A hard threshold initialized to one
   • A tanh gate initialized to zero
   • A fixed residual weight of 0.5
   • A learned vocabulary lookup table
7. What input sequence structure does Flamingo’s paper say its visual-language model can handle?
   • Only one image followed by a fixed-length label
   • Only text tokens with no visual inputs
   • Visual and textual data interleaved in arbitrary sequences
   • Only video frames with no text
8. What is one purpose of cross-attention in Flamingo’s visual-language architecture?
   • It replaces all text tokens with pixels
   • It prevents any information from passing between modalities
   • It performs only image resizing
   • It lets language-model layers incorporate visual features from image/video inputs