Prueba de atención cruzada

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Cuál es la diferencia clave entre la autoatención y la atención cruzada?
   • En atención cruzada, las consultas provienen de una secuencia y las claves/valores de otra
   • La atención cruzada no utiliza softmax
   • La atención personal solo funciona en imágenes
   • La atención cruzada no se puede entrenar con descenso de gradiente
2. En un transformador codificador-decodificador, ¿de dónde provienen las consultas de atención cruzada?
   • Las salidas del codificador
   • El estado actual del decodificador.
   • Solo las incrustaciones de entrada sin procesar
   • Una matriz aleatoria separada
3. ¿Por qué las dos secuencias en atención cruzada pueden tener diferentes duraciones o modalidades?
   • Porque la atención requiere entradas de igual longitud
   • Porque ignora una de las secuencias por completo.
   • Porque las consultas y las claves provienen de fuentes diferentes e independientes.
   • Porque primero rellena todo a un tamaño fijo
4. ¿Cómo utiliza Stable Diffusion la atención cruzada?
   • Para comprimir imágenes en archivos más pequeños
   • Para traducir texto entre idiomas
   • Para eliminar el ruido del audio
   • Para condicionar regiones de imágenes generadas en el mensaje de texto
5. ¿Qué operación matemática comparte la atención cruzada con la atención propia?
   • Atención de productos escalados con un softmax
   • Convolución sobre píxeles
   • Actualizaciones de estado recurrentes
   • Tablas de búsqueda codificadas
6. What gate does Flamingo use to control information flow through its cross-attention layers?
   • A hard threshold initialized to one
   • A tanh gate initialized to zero
   • A fixed residual weight of 0.5
   • A learned vocabulary lookup table
7. What input sequence structure does Flamingo’s paper say its visual-language model can handle?
   • Only one image followed by a fixed-length label
   • Only text tokens with no visual inputs
   • Visual and textual data interleaved in arbitrary sequences
   • Only video frames with no text
8. What is one purpose of cross-attention in Flamingo’s visual-language architecture?
   • It replaces all text tokens with pixels
   • It prevents any information from passing between modalities
   • It performs only image resizing
   • It lets language-model layers incorporate visual features from image/video inputs