مسابقة ELMo للتضمين السياقي

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

1. ما هو الفرق الرئيسي بين ELMo والتضمينات السابقة مثل Word2Vec؟
   • يعطي ELMo نفس الكلمة نواقل مختلفة اعتمادًا على سياق الجملة الخاصة بها
   • يستخدم ELMo ناقلات أصغر
   • يعمل ELMo فقط على الكلمات المفردة، وليس الجمل
   • لا يتطلب ELMo أي بيانات تدريب
2. ما هي البنية العصبية التي يستخدمها ELMo لقراءة النص؟
   • محول مع الاهتمام الذاتي
   • نموذج لغة LSTM ثنائي الاتجاه عميق
   • شبكة الصور التلافيفية
   • شبكة تغذية بسيطة
3. كيف تجمع ELMo بين طبقاتها الداخلية لمهمة لاحقة؟
   • يستخدم فقط الطبقة العليا النهائية
   • يقوم بتوسيط جميع الطبقات بالتساوي ويصلح النتيجة
   • ويستخدم مجموعات مرجحة متعلمة ومحددة المهام من جميع الطبقات
   • يختار طبقة واحدة بشكل عشوائي في كل مرة
4. ما الذي يستخدمه ELMo كوحدات إدخال للتعامل مع الكلمات غير المرئية؟
   • البحث عن الكلمة بأكملها فقط
   • معرفات القاموس الثابتة
   • الكلمات الفرعية المشفرة بالبايت من BERT
   • تمثيلات CNN على مستوى الشخصية
5. تقريبًا متى تم تقديم ELMo ومن قام به؟
   • 2018، من قبل معهد ألين لباحثي الذكاء الاصطناعي
   • 2013، بواسطة فريق Word2Vec التابع لـ Google
   • 2020، بواسطة OpenAI
   • 2015، بواسطة الفيسبوك AI
6. Which corpus was used to train the bidirectional language model described in the ELMo paper?
   • The One Billion Word Benchmark
   • The Penn Treebank only
   • A corpus of labeled images
   • The GloVe Common Crawl vectors
7. What language-model prediction does ELMo's forward LSTM learn?
   • Predicting the previous word from future context
   • Assigning a fixed vector to every document
   • Predicting the next word from the preceding context
   • Predicting a sentence's image resolution
8. What linguistic information do ELMo's lower and higher LSTM layers tend to capture?
   • Lower layers encode image color, while higher layers encode audio pitch
   • Every layer stores only word frequency and ignores context
   • Higher layers are always limited to punctuation prediction
   • Lower layers tend toward syntax, while higher layers capture more context-dependent semantics