Útmutatóhoz kapcsolódó kvíz · Közepes Szint
ELMo kontextuális beágyazási kvíz
Review how ELMo's bidirectional language model creates context-sensitive word vectors and combines recurrent layers for downstream tasks.
kérdés 1 -ból 8
Mi a legfontosabb különbség az ELMo és a korábbi beágyazások, például a Word2Vec között?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mi a legfontosabb különbség az ELMo és a korábbi beágyazások, például a Word2Vec között?
- Az ELMo ugyanazt a szót a mondatkörnyezettől függően különböző vektorokat ad
- Az ELMo kisebb vektorokat használ
- Az ELMo csak egyes szavakon működik, mondatokon nem
- Az ELMo nem igényel edzési adatokat
- Milyen neurális architektúrát használ az ELMo a szöveg olvasására?
- Egy transzformátor önfigyeléssel
- Egy mély kétirányú LSTM nyelvi modell
- Konvolúciós képhálózat
- Egyszerű előrecsatolt hálózat
- Hogyan kombinálja az ELMo belső rétegeit egy downstream feladathoz?
- Csak az utolsó felső réteget használja
- Minden réteget egyformán átlagol, és rögzíti az eredményt
- Az összes réteg tanult, feladatspecifikus súlyozott kombinációit használja
- Minden alkalommal véletlenszerűen választ egy réteget
- Mit használ az ELMo beviteli egységeként a nem látott szavak kezelésére?
- Csak a teljes szó keresése
- Javított szótárazonosítók
- Bájtpárban kódolt részszavak a BERT-től
- Karakterszintű CNN-reprezentációk
- Nagyjából mikor és ki vezette be az ELMo-t?
- 2018, az Allen Institute for AI kutatói által
- 2013, Google Word2Vec csapata
- 2020, szerző: OpenAI
- 2015, a Facebook AI által
- Which corpus was used to train the bidirectional language model described in the ELMo paper?
- The One Billion Word Benchmark
- The Penn Treebank only
- A corpus of labeled images
- The GloVe Common Crawl vectors
- What language-model prediction does ELMo's forward LSTM learn?
- Predicting the previous word from future context
- Assigning a fixed vector to every document
- Predicting the next word from the preceding context
- Predicting a sentence's image resolution
- What linguistic information do ELMo's lower and higher LSTM layers tend to capture?
- Lower layers encode image color, while higher layers encode audio pitch
- Every layer stores only word frequency and ignores context
- Higher layers are always limited to punctuation prediction
- Lower layers tend toward syntax, while higher layers capture more context-dependent semantics