Quiz collegato alla guida · Medio Livello
ELMo Quiz sugli incorporamenti contestuali
Esamina come il modello linguistico bidirezionale di ELMo crea vettori di parole sensibili al contesto e combina livelli ricorrenti per attività downstream.
Domanda 1 di 8
Qual è la differenza fondamentale tra ELMo e incorporamenti precedenti come Word2Vec?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Qual è la differenza fondamentale tra ELMo e incorporamenti precedenti come Word2Vec?
- ELMo fornisce alla stessa parola vettori diversi a seconda del contesto della frase
- ELMo utilizza vettori più piccoli
- ELMo funziona solo su singole parole, non su frasi
- ELMo non richiede dati di addestramento
- Quale architettura neurale utilizza ELMo per leggere il testo?
- Un trasformatore con auto-attenzione
- Un modello linguistico LSTM bidirezionale profondo
- Una rete di immagini convoluzionali
- Una semplice rete feedforward
- In che modo ELMo combina i suoi livelli interni per un'attività a valle?
- Utilizza solo lo strato superiore finale
- Calcola la media di tutti i livelli equamente e fissa il risultato
- Utilizza combinazioni ponderate apprese e specifiche per attività di tutti i livelli
- Ogni volta sceglie un livello a caso
- Cosa utilizza ELMo come unità di input per gestire le parole invisibili?
- Solo ricerca di parole intere
- ID dizionario fissi
- Sottoparole codificate a coppia di byte da BERT
- Rappresentazioni CNN a livello di carattere
- Quando è stato introdotto più o meno l'ELMo e da chi?
- 2018, dall'Allen Institute per ricercatori sull'intelligenza artificiale
- 2013, dal team Word2Vec di Google
- 2020, di OpenAI
- 2015, da Facebook AI
- Which corpus was used to train the bidirectional language model described in the ELMo paper?
- The One Billion Word Benchmark
- The Penn Treebank only
- A corpus of labeled images
- The GloVe Common Crawl vectors
- What language-model prediction does ELMo's forward LSTM learn?
- Predicting the previous word from future context
- Assigning a fixed vector to every document
- Predicting the next word from the preceding context
- Predicting a sentence's image resolution
- What linguistic information do ELMo's lower and higher LSTM layers tend to capture?
- Lower layers encode image color, while higher layers encode audio pitch
- Every layer stores only word frequency and ignores context
- Higher layers are always limited to punctuation prediction
- Lower layers tend toward syntax, while higher layers capture more context-dependent semantics