Quiz sur les intégrations contextuelles ELMo

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. Quelle est la principale différence entre ELMo et les intégrations antérieures comme Word2Vec ?
   • ELMo donne au même mot différents vecteurs en fonction du contexte de sa phrase
   • ELMo utilise des vecteurs plus petits
   • ELMo ne fonctionne que sur des mots simples, pas sur des phrases
   • ELMo ne nécessite aucune donnée de formation
2. Quelle architecture neuronale ELMo utilise-t-il pour lire du texte ?
   • Un transformateur avec une attention personnelle
   • Un modèle de langage LSTM bidirectionnel profond
   • Un réseau d'images convolutif
   • Un réseau de rétroaction simple
3. Comment ELMo combine-t-il ses couches internes pour une tâche en aval ?
   • Il utilise uniquement la dernière couche supérieure
   • Il fait la moyenne de toutes les couches de manière égale et corrige le résultat
   • Il utilise des combinaisons pondérées apprises et spécifiques à la tâche de toutes les couches
   • Il choisit une couche au hasard à chaque fois
4. Qu'est-ce qu'ELMo utilise comme unités d'entrée pour gérer les mots invisibles ?
   • Recherche de mots entiers uniquement
   • ID de dictionnaire fixes
   • Sous-mots codés par paires d'octets de BERT
   • Représentations CNN au niveau des personnages
5. À peu près quand ELMo a-t-il été introduit et par qui ?
   • 2018, par Allen Institute pour les chercheurs en IA
   • 2013, par l'équipe Word2Vec de Google
   • 2020, avant le OpenAI
   • 2015, par Facebook AI
6. Which corpus was used to train the bidirectional language model described in the ELMo paper?
   • The One Billion Word Benchmark
   • The Penn Treebank only
   • A corpus of labeled images
   • The GloVe Common Crawl vectors
7. What language-model prediction does ELMo's forward LSTM learn?
   • Predicting the previous word from future context
   • Assigning a fixed vector to every document
   • Predicting the next word from the preceding context
   • Predicting a sentence's image resolution
8. What linguistic information do ELMo's lower and higher LSTM layers tend to capture?
   • Lower layers encode image color, while higher layers encode audio pitch
   • Every layer stores only word frequency and ignores context
   • Higher layers are always limited to punctuation prediction
   • Lower layers tend toward syntax, while higher layers capture more context-dependent semantics