Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Câu đố nhúng theo ngữ cảnh ELMo

Xem lại cách mô hình ngôn ngữ hai chiều của ELMo tạo vectơ từ theo ngữ cảnh và kết hợp các lớp lặp lại cho các tác vụ tiếp theo.

Đường dẫn hướng dẫn liên quanNhúng theo ngữ cảnh Elmo
Câu hỏi 1 của 8

Sự khác biệt chính giữa ELMo và các phần nhúng trước đó như Word2Vec là gì?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Sự khác biệt chính giữa ELMo và các phần nhúng trước đó như Word2Vec là gì?
    • ELMo cho cùng một từ các vectơ khác nhau tùy thuộc vào ngữ cảnh câu của nó
    • ELMo sử dụng các vectơ nhỏ hơn
    • ELMo chỉ hoạt động trên các từ đơn lẻ, không hoạt động trên câu
    • ELMo không yêu cầu dữ liệu đào tạo
  2. ELMo sử dụng kiến trúc thần kinh nào để đọc văn bản?
    • Một Transformer với sự tự chú ý
    • Mô hình ngôn ngữ LSTM hai chiều sâu
    • Mạng hình ảnh tích chập
    • Mạng truyền thẳng đơn giản
  3. ELMo kết hợp các lớp bên trong của nó cho tác vụ xuôi dòng như thế nào?
    • Nó chỉ sử dụng lớp trên cùng cuối cùng
    • Nó tính trung bình tất cả các lớp bằng nhau và sửa kết quả
    • Nó sử dụng các kết hợp có trọng số dành riêng cho nhiệm vụ đã học của tất cả các lớp
    • Nó chọn ngẫu nhiên một lớp mỗi lần
  4. ELMo sử dụng đơn vị đầu vào nào để xử lý các từ không nhìn thấy?
    • Chỉ tra cứu toàn bộ từ
    • ID từ điển cố định
    • Từ phụ được mã hóa theo cặp byte từ BERT
    • Biểu diễn CNN cấp ký tự
  5. Đại khái ELMo được giới thiệu khi nào và bởi ai?
    • 2018, bởi Viện Allen dành cho các nhà nghiên cứu AI
    • 2013, bởi nhóm Word2Vec của Google
    • 2020, bởi OpenAI
    • 2015, bởi Facebook AI
  6. Which corpus was used to train the bidirectional language model described in the ELMo paper?
    • The One Billion Word Benchmark
    • The Penn Treebank only
    • A corpus of labeled images
    • The GloVe Common Crawl vectors
  7. What language-model prediction does ELMo's forward LSTM learn?
    • Predicting the previous word from future context
    • Assigning a fixed vector to every document
    • Predicting the next word from the preceding context
    • Predicting a sentence's image resolution
  8. What linguistic information do ELMo's lower and higher LSTM layers tend to capture?
    • Lower layers encode image color, while higher layers encode audio pitch
    • Every layer stores only word frequency and ignores context
    • Higher layers are always limited to punctuation prediction
    • Lower layers tend toward syntax, while higher layers capture more context-dependent semantics