Cuestionario vinculado a una guía · Medio Nivel

Prueba de incrustaciones contextuales de ELMo

Revise cómo el modelo de lenguaje bidireccional de ELMo crea vectores de palabras sensibles al contexto y combina capas recurrentes para tareas posteriores.

Rutas de guía relacionadasIncrustaciones contextuales de Elmo
Pregunta 1 de 8

¿Cuál es la diferencia clave entre ELMo y incorporaciones anteriores como Word2Vec?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Cuál es la diferencia clave entre ELMo y incorporaciones anteriores como Word2Vec?
    • ELMo le da a la misma palabra diferentes vectores dependiendo del contexto de su oración
    • ELMo utiliza vectores más pequeños
    • ELMo solo funciona con palabras sueltas, no con oraciones
    • ELMo no requiere datos de entrenamiento
  2. ¿Qué arquitectura neuronal utiliza ELMo para leer texto?
    • Un Transformer con atención propia
    • Un modelo de lenguaje LSTM bidireccional profundo
    • Una red de imágenes convolucional
    • Una red de avance simple
  3. ¿Cómo combina ELMo sus capas internas para una tarea posterior?
    • Utiliza solo la capa superior final.
    • Promedia todas las capas por igual y corrige el resultado.
    • Utiliza combinaciones ponderadas aprendidas y específicas de cada tarea de todas las capas.
    • Elige una capa al azar cada vez.
  4. ¿Qué utiliza ELMo como unidades de entrada para manejar palabras invisibles?
    • Sólo búsqueda de palabras completas
    • ID de diccionario fijos
    • Subpalabras codificadas en pares de bytes de BERT
    • Representaciones de CNN a nivel de personaje
  5. ¿Aproximadamente cuándo se introdujo ELMo y por quién?
    • 2018, por el Instituto Allen para investigadores de IA
    • 2013, por el equipo Word2Vec de Google
    • 2020, por OpenAI
    • 2015, por Facebook AI
  6. Which corpus was used to train the bidirectional language model described in the ELMo paper?
    • The One Billion Word Benchmark
    • The Penn Treebank only
    • A corpus of labeled images
    • The GloVe Common Crawl vectors
  7. What language-model prediction does ELMo's forward LSTM learn?
    • Predicting the previous word from future context
    • Assigning a fixed vector to every document
    • Predicting the next word from the preceding context
    • Predicting a sentence's image resolution
  8. What linguistic information do ELMo's lower and higher LSTM layers tend to capture?
    • Lower layers encode image color, while higher layers encode audio pitch
    • Every layer stores only word frequency and ignores context
    • Higher layers are always limited to punctuation prediction
    • Lower layers tend toward syntax, while higher layers capture more context-dependent semantics