Questionário vinculado ao guia · Médio Nível

Questionário sobre arquiteturas codificador-decodificador

Revise os componentes do modelo codificador-decodificador, a atenção da fonte ao alvo e os usos de texto para texto em tarefas de tradução e linguagem.

Caminhos de guia relacionadosArquiteturas de codificador e decodificador
Pergunta 1 de 8

Qual é a principal função do codificador em um modelo codificador-decodificador?

Visualize cada pergunta8 perguntas

As respostas e explicações aparecem conforme você responde ao teste.

  1. Qual é a principal função do codificador em um modelo codificador-decodificador?
    • Para ler a entrada e transformá-la em representações internas ricas
    • Para gerar a saída, um token por vez
    • Para classificar os resultados candidatos por probabilidade
    • Para armazenar os dados de treinamento do modelo
  2. Por que o decodificador usa autoatenção mascarada (causal)?
    • Para ocultar a entrada do codificador
    • Para evitar que cada posição veja tokens futuros durante a geração
    • Para compactar a saída em menos tokens
    • Para descartar tokens aleatoriamente para regularização
  3. Que mecanismo conecta o decodificador às representações do codificador?
    • Abandono
    • Normalização em lote
    • Atenção cruzada
    • Codificação posicional
  4. Qual desses modelos é uma arquitetura codificador-decodificador (sequência a sequência)?
    • GPT-3
    • BERTO
    • Word2Vec
    • T5
  5. Por que o design do codificador-decodificador é uma solução natural para tradução?
    • Porque a entrada e a saída são sequências diferentes, exigindo compreensão total e depois uma nova geração
    • Porque a entrada e a saída têm sempre o mesmo comprimento
    • Porque nunca precisa gerar novo texto
    • Porque evita usar totalmente a atenção
  6. In the original Transformer architecture, what attention does the encoder use over its input sequence?
    • Causal attention that hides all earlier source tokens
    • Bidirectional self-attention over the full source sequence
    • Cross-attention only to an image sequence
    • No attention mechanism
  7. What training objective does BART use for pretraining?
    • It predicts only the next pixel in an image
    • It classifies each word into a fixed sentiment label
    • It corrupts text and trains a sequence-to-sequence denoising model to reconstruct the original
    • It performs speech recognition from raw audio
  8. How does T5 frame many NLP tasks for one encoder-decoder model?
    • As image classification with a shared label set
    • As speech waveforms with no text tokens
    • As separate model architectures for each task
    • As text-to-text inputs and outputs with task descriptions in the input text