Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Câu đố về kiến trúc bộ mã hóa-giải mã

Xem lại các thành phần mô hình bộ mã hóa-giải mã, sự chú ý từ nguồn đến đích và cách sử dụng văn bản thành văn bản trong các tác vụ dịch thuật và ngôn ngữ.

Đường dẫn hướng dẫn liên quanKiến trúc bộ giải mã bộ mã hóa
Câu hỏi 1 của 8

Công việc chính của bộ mã hóa trong mô hình bộ mã hóa-giải mã là gì?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Công việc chính của bộ mã hóa trong mô hình bộ mã hóa-giải mã là gì?
    • Để đọc đầu vào và biến nó thành các biểu diễn nội bộ phong phú
    • Để tạo đầu ra một mã thông báo tại một thời điểm
    • Để xếp hạng kết quả đầu ra của ứng viên theo xác suất
    • Để lưu trữ dữ liệu đào tạo của mô hình
  2. Tại sao bộ giải mã lại sử dụng tính năng tự chú ý bị che giấu (nhân quả)?
    • Để ẩn đầu vào khỏi bộ mã hóa
    • Để ngăn mỗi vị trí nhìn thấy mã thông báo trong tương lai trong quá trình tạo
    • Để nén đầu ra thành ít mã thông báo hơn
    • Để thả mã thông báo ngẫu nhiên để chính quy hóa
  3. Cơ chế nào kết nối bộ giải mã với các biểu diễn của bộ mã hóa?
    • Bỏ học
    • Chuẩn hóa hàng loạt
    • Sự chú ý chéo
    • Mã hóa vị trí
  4. Mô hình nào trong số này là kiến trúc bộ mã hóa-giải mã (chuỗi nối tiếp)?
    • GPT-3
    • BERT
    • Word2Vec
    • T5
  5. Tại sao thiết kế bộ mã hóa-giải mã lại phù hợp tự nhiên cho dịch thuật?
    • Bởi vì đầu vào và đầu ra là các chuỗi khác nhau, đòi hỏi phải hiểu đầy đủ sau đó tạo mới
    • Bởi vì đầu vào và đầu ra luôn có cùng độ dài
    • Bởi vì nó không bao giờ cần tạo văn bản mới
    • Bởi vì nó tránh hoàn toàn việc sử dụng sự chú ý
  6. In the original Transformer architecture, what attention does the encoder use over its input sequence?
    • Causal attention that hides all earlier source tokens
    • Bidirectional self-attention over the full source sequence
    • Cross-attention only to an image sequence
    • No attention mechanism
  7. What training objective does BART use for pretraining?
    • It predicts only the next pixel in an image
    • It classifies each word into a fixed sentiment label
    • It corrupts text and trains a sequence-to-sequence denoising model to reconstruct the original
    • It performs speech recognition from raw audio
  8. How does T5 frame many NLP tasks for one encoder-decoder model?
    • As image classification with a shared label set
    • As speech waveforms with no text tokens
    • As separate model architectures for each task
    • As text-to-text inputs and outputs with task descriptions in the input text