Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Bài kiểm tra về công thức đào tạo của RoberTa

Xem lại mặt nạ của RoBERTa, mục tiêu đào tạo trước, quy mô dữ liệu, mã thông báo, biến thể đa ngôn ngữ và bài học về so sánh mô hình được kiểm soát.

Đường dẫn hướng dẫn liên quanCông thức đào tạo Roberta
Câu hỏi 1 của 8

Cái nhìn sâu sắc chính của RoBERTa về BERT ban đầu là gì?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Cái nhìn sâu sắc chính của RoBERTa về BERT ban đầu là gì?
    • Kiến trúc của BERT về cơ bản là thiếu sót
    • BERT đã sử dụng quá nhiều tham số
    • BERT đã được đào tạo thiếu đáng kể
    • BERT cần thêm bộ giải mã
  2. RoBERTa đã loại bỏ mục tiêu BERT nào?
    • Dự đoán câu tiếp theo
    • Mô hình ngôn ngữ đeo mặt nạ
    • Phân loại mã thông báo
    • Phát hiện mã thông báo được thay thế
  3. Mặt nạ động trong RoBERTa là gì?
    • Chỉ che giấu những từ hiếm nhất trong kho văn bản
    • Che dấu toàn bộ câu cùng một lúc
    • Không bao giờ che dấu cùng một mã thông báo hai lần trong một kho văn bản
    • Tạo mẫu mặt nạ mới mỗi lần nhìn thấy một chuỗi
  4. Dữ liệu đào tạo của RoBERTa so với BERT như thế nào?
    • Nó sử dụng cùng 16GB văn bản
    • Nó đã sử dụng khoảng 160GB, gấp khoảng 10 lần
    • Nó sử dụng ít dữ liệu hơn nhưng nhãn sạch hơn
    • Nó chỉ sử dụng Wikipedia
  5. Tổ chức nào phát hành RoBERTa?
    • AI của Facebook (Meta)
    • Google Trí tuệ nhân tạo
    • OpenAI
    • Microsoft Nghiên cứu
  6. Phiên bản đa ngôn ngữ của RoBERTa được gọi là gì?
    • mBERT
    • RoberTa-XL
    • XLM-R (XLM-RoBERTa)
    • PolyRoBERTa
  7. Which text encoding did the RoBERTa recipe use according to the guide?
    • A fixed vocabulary of complete words only
    • Byte-level byte-pair encoding
    • One image patch per token
    • A phoneme-only vocabulary
  8. A researcher credits a new layer for beating BERT but also changes the data volume and training duration. Which lesson from RoBERTa matters?
    • Architecture changes always explain every improvement
    • Training duration can be ignored if the benchmark is the same
    • Data volume cannot affect an encoder
    • Training choices can account for gains, so they must be considered when comparing models