Câu đố về mô hình ngôn ngữ đeo mặt nạ

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Nhiệm vụ đào tạo cốt lõi trong mô hình ngôn ngữ mặt nạ là gì?
   • Dự đoán những từ cố tình ẩn từ ngữ cảnh xung quanh
   • Dự đoán từ tiếp theo sau một câu
   • Dịch văn bản giữa hai ngôn ngữ
   • Xếp hạng câu theo tính đúng ngữ pháp
2. BERT thường che giấu khoảng bao nhiêu phần trăm mã thông báo trong quá trình đào tạo trước?
   • Khoảng 50%
   • Khoảng 15%
   • Khoảng 1%
   • Khoảng 90%
3. Tại sao MLM đưa ra sự hiểu biết hai chiều về mô hình?
   • Nó đọc ngược câu
   • Nó sử dụng hai mô hình riêng biệt
   • Mỗi mã thông báo chú ý đến các từ ở cả bên trái và bên phải của nó
   • Nó chỉ nhìn vào từ trước
4. Trong sơ đồ che giấu của BERT, điều gì xảy ra với khoảng 10% vị trí được chọn thay vì trở thành [MẶT NẠ]?
   • Chúng bị xóa hoàn toàn
   • Chúng được nhân đôi
   • Họ được viết hoa
   • Chúng được thay thế bằng một từ ngẫu nhiên
5. Khoản lỗ MLM được tính ở những vị thế nào?
   • Chỉ những vị trí đeo mặt nạ
   • Mỗi dấu hiệu trong câu
   • Chỉ mã thông báo đầu tiên và cuối cùng
   • Chỉ dấu chấm câu
6. So với dự đoán mã thông báo tiếp theo, MLM đánh đổi điều gì?
   • Khả năng sử dụng ngữ cảnh
   • Khả năng tạo văn bản trôi chảy từ trái sang phải
   • Tiếp cận từ vựng
   • Việc sử dụng sự chú ý
7. How does RoBERTa’s dynamic masking differ from BERT’s original setup?
   • It masks only the first token of every sentence
   • It predicts future tokens with a causal decoder
   • The masked positions can be regenerated across training passes instead of remaining fixed
   • It replaces all masked tokens with random numbers
8. What auxiliary objective did the original BERT pretraining recipe combine with MLM?
   • Image patch reconstruction
   • Audio speaker diarization
   • A reward model for code generation
   • Next-sentence prediction