Kvíz spojený s průvodcem · Střední úroveň

Kvíz ELMo kontextového vkládání

Podívejte se, jak obousměrný jazykový model ELMo vytváří kontextově citlivé slovní vektory a kombinuje opakující se vrstvy pro následné úlohy.

Související vodicí cestyKontextové vložení Elmo
Otázka 1 z 8

Jaký je klíčový rozdíl mezi ELMo a dřívějšími vloženími, jako je Word2Vec?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaký je klíčový rozdíl mezi ELMo a dřívějšími vloženími, jako je Word2Vec?
    • ELMo dává stejnému slovu různé vektory v závislosti na kontextu jeho věty
    • ELMo používá menší vektory
    • ELMo funguje pouze na jednotlivá slova, nikoli na věty
    • ELMo nevyžaduje žádná tréninková data
  2. Jakou neuronovou architekturu používá ELMo ke čtení textu?
    • Transformer s vlastní pozorností
    • Hluboký obousměrný jazykový model LSTM
    • Konvoluční obrazová síť
    • Jednoduchá dopředná síť
  3. Jak ELMo kombinuje své vnitřní vrstvy pro následný úkol?
    • Používá pouze finální vrchní vrstvu
    • Zprůměruje všechny vrstvy stejně a výsledek zafixuje
    • Využívá naučené, úkolově specifické vážené kombinace všech vrstev
    • Pokaždé náhodně vybere jednu vrstvu
  4. Co používá ELMo jako vstupní jednotky pro zpracování neviditelných slov?
    • Pouze vyhledávání celých slov
    • Opravená ID slovníků
    • Dílčí slova kódovaná pomocí bajtů od BERT
    • CNN reprezentace na úrovni znaků
  5. Kdy zhruba bylo ELMo představeno a kým?
    • 2018, Allen Institute pro výzkumníky AI
    • 2013, týmem Word2Vec Google
    • 2020, do OpenAI
    • 2015, od Facebooku AI
  6. Which corpus was used to train the bidirectional language model described in the ELMo paper?
    • The One Billion Word Benchmark
    • The Penn Treebank only
    • A corpus of labeled images
    • The GloVe Common Crawl vectors
  7. What language-model prediction does ELMo's forward LSTM learn?
    • Predicting the previous word from future context
    • Assigning a fixed vector to every document
    • Predicting the next word from the preceding context
    • Predicting a sentence's image resolution
  8. What linguistic information do ELMo's lower and higher LSTM layers tend to capture?
    • Lower layers encode image color, while higher layers encode audio pitch
    • Every layer stores only word frequency and ignores context
    • Higher layers are always limited to punctuation prediction
    • Lower layers tend toward syntax, while higher layers capture more context-dependent semantics