Útmutatóhoz kapcsolódó kvíz · Közepes Szint

ELMo kontextuális beágyazási kvíz

Review how ELMo's bidirectional language model creates context-sensitive word vectors and combines recurrent layers for downstream tasks.

Kapcsolódó útmutató utakElmo kontextuális beágyazások
kérdés 1 -ból 8

Mi a legfontosabb különbség az ELMo és a korábbi beágyazások, például a Word2Vec között?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mi a legfontosabb különbség az ELMo és a korábbi beágyazások, például a Word2Vec között?
    • Az ELMo ugyanazt a szót a mondatkörnyezettől függően különböző vektorokat ad
    • Az ELMo kisebb vektorokat használ
    • Az ELMo csak egyes szavakon működik, mondatokon nem
    • Az ELMo nem igényel edzési adatokat
  2. Milyen neurális architektúrát használ az ELMo a szöveg olvasására?
    • Egy transzformátor önfigyeléssel
    • Egy mély kétirányú LSTM nyelvi modell
    • Konvolúciós képhálózat
    • Egyszerű előrecsatolt hálózat
  3. Hogyan kombinálja az ELMo belső rétegeit egy downstream feladathoz?
    • Csak az utolsó felső réteget használja
    • Minden réteget egyformán átlagol, és rögzíti az eredményt
    • Az összes réteg tanult, feladatspecifikus súlyozott kombinációit használja
    • Minden alkalommal véletlenszerűen választ egy réteget
  4. Mit használ az ELMo beviteli egységeként a nem látott szavak kezelésére?
    • Csak a teljes szó keresése
    • Javított szótárazonosítók
    • Bájtpárban kódolt részszavak a BERT-től
    • Karakterszintű CNN-reprezentációk
  5. Nagyjából mikor és ki vezette be az ELMo-t?
    • 2018, az Allen Institute for AI kutatói által
    • 2013, Google Word2Vec csapata
    • 2020, szerző: OpenAI
    • 2015, a Facebook AI által
  6. Which corpus was used to train the bidirectional language model described in the ELMo paper?
    • The One Billion Word Benchmark
    • The Penn Treebank only
    • A corpus of labeled images
    • The GloVe Common Crawl vectors
  7. What language-model prediction does ELMo's forward LSTM learn?
    • Predicting the previous word from future context
    • Assigning a fixed vector to every document
    • Predicting the next word from the preceding context
    • Predicting a sentence's image resolution
  8. What linguistic information do ELMo's lower and higher LSTM layers tend to capture?
    • Lower layers encode image color, while higher layers encode audio pitch
    • Every layer stores only word frequency and ignores context
    • Higher layers are always limited to punctuation prediction
    • Lower layers tend toward syntax, while higher layers capture more context-dependent semantics