Cuestionario vinculado a una guía · Medio Nivel

Prueba de arquitecturas de codificador-decodificador

Revise los componentes del modelo codificador-decodificador, la atención de origen a destino y los usos de texto a texto en tareas de traducción y lenguaje.

Rutas de guía relacionadasArquitecturas de codificador y decodificador
Pregunta 1 de 8

¿Cuál es la función principal del codificador en un modelo codificador-decodificador?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Cuál es la función principal del codificador en un modelo codificador-decodificador?
    • Leer la entrada y convertirla en ricas representaciones internas.
    • Para generar la salida un token a la vez
    • Para clasificar los resultados candidatos por probabilidad
    • Para almacenar los datos de entrenamiento del modelo.
  2. ¿Por qué el decodificador utiliza la autoatención enmascarada (causal)?
    • Para ocultar la entrada del codificador
    • Para evitar que cada posición vea tokens futuros durante la generación
    • Para comprimir la salida en menos tokens
    • Para soltar tokens aleatoriamente para la regularización
  3. ¿Qué mecanismo conecta el decodificador con las representaciones del codificador?
    • Abandono
    • Normalización por lotes
    • Atención cruzada
    • Codificación posicional
  4. ¿Cuál de estos modelos es una arquitectura codificador-decodificador (secuencia a secuencia)?
    • GPT-3
    • BERT
    • Palabra2Vec
    • T5
  5. ¿Por qué el diseño codificador-decodificador es una opción natural para la traducción?
    • Debido a que la entrada y la salida son secuencias diferentes, requieren una comprensión total y luego una nueva generación.
    • Porque la entrada y la salida tienen siempre la misma longitud.
    • Porque nunca necesita generar texto nuevo.
    • Porque evita utilizar la atención por completo.
  6. In the original Transformer architecture, what attention does the encoder use over its input sequence?
    • Causal attention that hides all earlier source tokens
    • Bidirectional self-attention over the full source sequence
    • Cross-attention only to an image sequence
    • No attention mechanism
  7. What training objective does BART use for pretraining?
    • It predicts only the next pixel in an image
    • It classifies each word into a fixed sentiment label
    • It corrupts text and trains a sequence-to-sequence denoising model to reconstruct the original
    • It performs speech recognition from raw audio
  8. How does T5 frame many NLP tasks for one encoder-decoder model?
    • As image classification with a shared label set
    • As speech waveforms with no text tokens
    • As separate model architectures for each task
    • As text-to-text inputs and outputs with task descriptions in the input text