Questionário vinculado ao guia · Médio Nível

Questionário de incorporação contextual ELMo

Revise como o modelo de linguagem bidirecional do ELMo cria vetores de palavras sensíveis ao contexto e combina camadas recorrentes para tarefas posteriores.

Caminhos de guia relacionadosIncorporações contextuais Elmo
Pergunta 1 de 8

Qual é a principal diferença entre o ELMo e os embeddings anteriores, como o Word2Vec?

Visualize cada pergunta8 perguntas

As respostas e explicações aparecem conforme você responde ao teste.

  1. Qual é a principal diferença entre o ELMo e os embeddings anteriores, como o Word2Vec?
    • ELMo fornece vetores diferentes para a mesma palavra, dependendo do contexto da frase
    • ELMo usa vetores menores
    • ELMo funciona apenas com palavras isoladas, não com frases
    • ELMo não requer dados de treinamento
  2. Qual arquitetura neural o ELMo usa para ler texto?
    • Um transformador com autoatenção
    • Um modelo de linguagem LSTM bidirecional profundo
    • Uma rede de imagens convolucionais
    • Uma rede feedforward simples
  3. Como o ELMo combina suas camadas internas para uma tarefa posterior?
    • Ele usa apenas a camada superior final
    • Ele calcula a média de todas as camadas igualmente e corrige o resultado
    • Ele usa combinações ponderadas aprendidas e específicas de tarefas de todas as camadas
    • Ele escolhe uma camada aleatoriamente de cada vez
  4. O que o ELMo usa como unidades de entrada para lidar com palavras não vistas?
    • Somente pesquisa de palavra inteira
    • IDs de dicionário fixos
    • Subpalavras codificadas em pares de bytes do BERT
    • Representações CNN em nível de personagem
  5. Aproximadamente quando o ELMo foi introduzido e por quem?
    • 2018, pelo Instituto Allen para pesquisadores de IA
    • 2013, pela equipe Word2Vec de Google
    • 2020, por OpenAI
    • 2015, pela IA do Facebook
  6. Which corpus was used to train the bidirectional language model described in the ELMo paper?
    • The One Billion Word Benchmark
    • The Penn Treebank only
    • A corpus of labeled images
    • The GloVe Common Crawl vectors
  7. What language-model prediction does ELMo's forward LSTM learn?
    • Predicting the previous word from future context
    • Assigning a fixed vector to every document
    • Predicting the next word from the preceding context
    • Predicting a sentence's image resolution
  8. What linguistic information do ELMo's lower and higher LSTM layers tend to capture?
    • Lower layers encode image color, while higher layers encode audio pitch
    • Every layer stores only word frequency and ignores context
    • Higher layers are always limited to punctuation prediction
    • Lower layers tend toward syntax, while higher layers capture more context-dependent semantics