Kvíz spojený s průvodcem · Střední úroveň
Kvíz ELMo kontextového vkládání
Podívejte se, jak obousměrný jazykový model ELMo vytváří kontextově citlivé slovní vektory a kombinuje opakující se vrstvy pro následné úlohy.
Otázka 1 z 8
Jaký je klíčový rozdíl mezi ELMo a dřívějšími vloženími, jako je Word2Vec?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaký je klíčový rozdíl mezi ELMo a dřívějšími vloženími, jako je Word2Vec?
- ELMo dává stejnému slovu různé vektory v závislosti na kontextu jeho věty
- ELMo používá menší vektory
- ELMo funguje pouze na jednotlivá slova, nikoli na věty
- ELMo nevyžaduje žádná tréninková data
- Jakou neuronovou architekturu používá ELMo ke čtení textu?
- Transformer s vlastní pozorností
- Hluboký obousměrný jazykový model LSTM
- Konvoluční obrazová síť
- Jednoduchá dopředná síť
- Jak ELMo kombinuje své vnitřní vrstvy pro následný úkol?
- Používá pouze finální vrchní vrstvu
- Zprůměruje všechny vrstvy stejně a výsledek zafixuje
- Využívá naučené, úkolově specifické vážené kombinace všech vrstev
- Pokaždé náhodně vybere jednu vrstvu
- Co používá ELMo jako vstupní jednotky pro zpracování neviditelných slov?
- Pouze vyhledávání celých slov
- Opravená ID slovníků
- Dílčí slova kódovaná pomocí bajtů od BERT
- CNN reprezentace na úrovni znaků
- Kdy zhruba bylo ELMo představeno a kým?
- 2018, Allen Institute pro výzkumníky AI
- 2013, týmem Word2Vec Google
- 2020, do OpenAI
- 2015, od Facebooku AI
- Which corpus was used to train the bidirectional language model described in the ELMo paper?
- The One Billion Word Benchmark
- The Penn Treebank only
- A corpus of labeled images
- The GloVe Common Crawl vectors
- What language-model prediction does ELMo's forward LSTM learn?
- Predicting the previous word from future context
- Assigning a fixed vector to every document
- Predicting the next word from the preceding context
- Predicting a sentence's image resolution
- What linguistic information do ELMo's lower and higher LSTM layers tend to capture?
- Lower layers encode image color, while higher layers encode audio pitch
- Every layer stores only word frequency and ignores context
- Higher layers are always limited to punctuation prediction
- Lower layers tend toward syntax, while higher layers capture more context-dependent semantics