Bài kiểm tra số liệu đánh giá ROUGE và BLEU

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Số liệu nào ban đầu được thiết kế cho dịch máy và nhấn mạnh độ chính xác?
   • BLEU
   • ROUGE
   • BERTSđiểm
   • chỉ F1
2. ROUGE chủ yếu hướng tới điều gì?
   • Độ chính xác
   • thu hồi
   • Độ trễ
   • Kích thước mô hình
3. Hình phạt ngắn gọn của BLEU ngăn cản điều gì?
   • Tạo đầu ra quá dài
   • Sử dụng từ hiếm
   • Ghi điểm với kết quả đầu ra rất ngắn
   • Lặp lại cùng một từ
4. ROUGE-L đo lường những gì?
   • Số chữ cái ở đầu ra
   • Độ trễ tính bằng mili giây
   • Tỷ lệ học tập lớn nhất được sử dụng
   • Dãy con chung dài nhất giữa ứng viên và tham chiếu
5. Hạn chế chung chính của cả BLEU và ROUGE là gì?
   • Họ chỉ đo sự chồng chéo n-gram trên bề mặt và bỏ sót cách diễn giải hoặc ý nghĩa
   • Họ yêu cầu GPU để tính toán
   • Họ không thể xử lý văn bản tiếng Anh
   • Họ không cần văn bản tham khảo
6. BLEU ngăn hệ thống đánh lừa điểm số bằng cách lặp lại n-gram tần số cao bằng cách nào?
   • Nó bỏ qua tất cả các từ lặp đi lặp lại
   • Nó cắt số lượng n-gram của mỗi ứng cử viên thành số lượng tối đa trong tài liệu tham khảo
   • Nó chỉ tính câu đầu tiên
   • Nó phạt bất kỳ sự lặp lại nào về 0
7. When does BLEU’s brevity penalty reduce a candidate’s score?
   • When the candidate includes a unigram match
   • When the reference contains more than four words
   • When the candidate is shorter than the reference length
   • When the candidate uses a paraphrase
8. Why does BLEU take a geometric mean across n-gram precisions?
   • It converts precision into a confidence interval
   • It guarantees semantic equivalence
   • It removes the need for reference text
   • A low score at one n-gram order can substantially lower the combined score