Kuis terkait panduan · Sedang Tingkat

Kuis Penyematan Kontekstual ELMo

Tinjau bagaimana model bahasa dua arah ELMo menciptakan vektor kata yang peka konteks dan menggabungkan lapisan berulang untuk tugas hilir.

Jalur panduan terkaitPenyematan Kontekstual Elmo
Pertanyaan 1 dari 8

Apa perbedaan utama antara ELMo dan penyematan sebelumnya seperti Word2Vec?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Apa perbedaan utama antara ELMo dan penyematan sebelumnya seperti Word2Vec?
    • ELMo memberikan kata yang sama vektor yang berbeda tergantung pada konteks kalimatnya
    • ELMo menggunakan vektor yang lebih kecil
    • ELMo hanya bekerja pada satu kata, bukan kalimat
    • ELMo tidak memerlukan data pelatihan
  2. Arsitektur saraf apa yang digunakan ELMo untuk membaca teks?
    • Seorang Transformer dengan perhatian pada diri sendiri
    • Model bahasa LSTM dua arah yang mendalam
    • Jaringan gambar konvolusional
    • Jaringan umpan maju yang sederhana
  3. Bagaimana cara ELMo menggabungkan lapisan internalnya untuk tugas hilir?
    • Ini hanya menggunakan lapisan atas terakhir
    • Ini merata-ratakan semua lapisan secara merata dan memperbaiki hasilnya
    • Ini menggunakan kombinasi tertimbang khusus tugas yang dipelajari dari semua lapisan
    • Ia mengambil satu lapisan secara acak setiap kali
  4. Apa yang ELMo gunakan sebagai unit inputnya untuk menangani kata-kata yang tidak terlihat?
    • Hanya pencarian seluruh kata
    • Memperbaiki ID kamus
    • Subkata yang dikodekan pasangan byte dari BERT
    • Representasi CNN tingkat karakter
  5. Kira-kira kapan ELMo diperkenalkan dan oleh siapa?
    • 2018, oleh peneliti Allen Institute untuk AI
    • 2013, oleh tim Word2Vec Google
    • 2020, oleh OpenAI
    • 2015, oleh Facebook AI
  6. Which corpus was used to train the bidirectional language model described in the ELMo paper?
    • The One Billion Word Benchmark
    • The Penn Treebank only
    • A corpus of labeled images
    • The GloVe Common Crawl vectors
  7. What language-model prediction does ELMo's forward LSTM learn?
    • Predicting the previous word from future context
    • Assigning a fixed vector to every document
    • Predicting the next word from the preceding context
    • Predicting a sentence's image resolution
  8. What linguistic information do ELMo's lower and higher LSTM layers tend to capture?
    • Lower layers encode image color, while higher layers encode audio pitch
    • Every layer stores only word frequency and ignores context
    • Higher layers are always limited to punctuation prediction
    • Lower layers tend toward syntax, while higher layers capture more context-dependent semantics