Вікторина, пов’язана з посібником · Середній Рівень

Тест щодо контекстних вбудовувань ELMo

Перегляньте, як двонаправлена ​​мовна модель ELMo створює контекстно-залежні вектори слів і комбінує повторювані шари для подальших завдань.

Пов'язані напрямні шляхиКонтекстні вбудовування Elmo
Питання 1 з 8

У чому полягає ключова відмінність між ELMo та попередніми вбудовуваннями, такими як Word2Vec?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. У чому полягає ключова відмінність між ELMo та попередніми вбудовуваннями, такими як Word2Vec?
    • ELMo надає тому самому слову різні вектори залежно від контексту речення
    • ELMo використовує менші вектори
    • ELMo працює лише з окремими словами, а не з реченнями
    • ELMo не потребує навчальних даних
  2. Яку нейронну архітектуру використовує ELMo для читання тексту?
    • Трансформер з увагою до себе
    • Глибока двонаправлена модель мови LSTM
    • Згорточна мережа зображень
    • Проста мережа прямого зв'язку
  3. Як ELMo поєднує свої внутрішні рівні для наступного завдання?
    • Використовується лише останній верхній шар
    • Усереднює однаково всі шари і фіксує результат
    • Він використовує вивчені, специфічні для завдання зважені комбінації всіх шарів
    • Щоразу він випадково вибирає один шар
  4. Що використовує ELMo як одиниці введення для обробки невидимих ​​слів?
    • Пошук лише всього слова
    • Виправлені ідентифікатори словників
    • Підслова, закодовані парами байтів від BERT
    • Представлення CNN на рівні символів
  5. Приблизно коли і ким був представлений ELMo?
    • 2018, Інститут Аллена для дослідників ШІ
    • 2013, команда Word2Vec Google
    • 2020, автор OpenAI
    • 2015, Facebook AI
  6. Which corpus was used to train the bidirectional language model described in the ELMo paper?
    • The One Billion Word Benchmark
    • The Penn Treebank only
    • A corpus of labeled images
    • The GloVe Common Crawl vectors
  7. What language-model prediction does ELMo's forward LSTM learn?
    • Predicting the previous word from future context
    • Assigning a fixed vector to every document
    • Predicting the next word from the preceding context
    • Predicting a sentence's image resolution
  8. What linguistic information do ELMo's lower and higher LSTM layers tend to capture?
    • Lower layers encode image color, while higher layers encode audio pitch
    • Every layer stores only word frequency and ignores context
    • Higher layers are always limited to punctuation prediction
    • Lower layers tend toward syntax, while higher layers capture more context-dependent semantics