Quiz collegato alla guida · Medio Livello

ELMo Quiz sugli incorporamenti contestuali

Esamina come il modello linguistico bidirezionale di ELMo crea vettori di parole sensibili al contesto e combina livelli ricorrenti per attività downstream.

Percorsi guida correlatiIncorporamenti contestuali Elmo
Domanda 1 di 8

Qual è la differenza fondamentale tra ELMo e incorporamenti precedenti come Word2Vec?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Qual è la differenza fondamentale tra ELMo e incorporamenti precedenti come Word2Vec?
    • ELMo fornisce alla stessa parola vettori diversi a seconda del contesto della frase
    • ELMo utilizza vettori più piccoli
    • ELMo funziona solo su singole parole, non su frasi
    • ELMo non richiede dati di addestramento
  2. Quale architettura neurale utilizza ELMo per leggere il testo?
    • Un trasformatore con auto-attenzione
    • Un modello linguistico LSTM bidirezionale profondo
    • Una rete di immagini convoluzionali
    • Una semplice rete feedforward
  3. In che modo ELMo combina i suoi livelli interni per un'attività a valle?
    • Utilizza solo lo strato superiore finale
    • Calcola la media di tutti i livelli equamente e fissa il risultato
    • Utilizza combinazioni ponderate apprese e specifiche per attività di tutti i livelli
    • Ogni volta sceglie un livello a caso
  4. Cosa utilizza ELMo come unità di input per gestire le parole invisibili?
    • Solo ricerca di parole intere
    • ID dizionario fissi
    • Sottoparole codificate a coppia di byte da BERT
    • Rappresentazioni CNN a livello di carattere
  5. Quando è stato introdotto più o meno l'ELMo e da chi?
    • 2018, dall'Allen Institute per ricercatori sull'intelligenza artificiale
    • 2013, dal team Word2Vec di Google
    • 2020, di OpenAI
    • 2015, da Facebook AI
  6. Which corpus was used to train the bidirectional language model described in the ELMo paper?
    • The One Billion Word Benchmark
    • The Penn Treebank only
    • A corpus of labeled images
    • The GloVe Common Crawl vectors
  7. What language-model prediction does ELMo's forward LSTM learn?
    • Predicting the previous word from future context
    • Assigning a fixed vector to every document
    • Predicting the next word from the preceding context
    • Predicting a sentence's image resolution
  8. What linguistic information do ELMo's lower and higher LSTM layers tend to capture?
    • Lower layers encode image color, while higher layers encode audio pitch
    • Every layer stores only word frequency and ignores context
    • Higher layers are always limited to punctuation prediction
    • Lower layers tend toward syntax, while higher layers capture more context-dependent semantics