اختبار مقاييس تقييم ROUGE وBLEU

تظهر الإجابات والتفسيرات أثناء إجراء الاختبار.

1. ما هو المقياس الذي تم تصميمه في الأصل للترجمة الآلية ويؤكد على الدقة؟
   • بلو
   • روج
   • بيرتسكور
   • F1 فقط
2. ما هو ROUGE الموجه في المقام الأول نحو؟
   • الدقة
   • أذكر
   • الكمون
   • حجم النموذج
3. ما الذي تمنعه عقوبة الإيجاز في BLEU؟
   • إنتاج مخرجات طويلة للغاية
   • استخدام الكلمات النادرة
   • التلاعب بالنتيجة بمخرجات قصيرة جدًا
   • تكرار نفس الكلمة
4. ما الذي يقيسه ROUGE-L؟
   • عدد الحروف في الإخراج
   • الكمون بالمللي ثانية
   • أكبر معدل التعلم المستخدمة
   • أطول متتالية مشتركة بين المرشح والمرجع
5. ما هو القيد الرئيسي المشترك لكل من BLEU وROUGE؟
   • إنهم يقيسون فقط تداخل السطح n-gram ويفتقدون إعادة الصياغة أو المعنى
   • أنها تتطلب وحدات معالجة الرسومات للحساب
   • لا يمكنهم التعامل مع النص الإنجليزي
   • لا يحتاجون إلى نص مرجعي
6. كيف يمنع BLEU النظام من التلاعب بالنتيجة عن طريق تكرار n-gram عالي التردد؟
   • يتجاهل كل الكلمات المتكررة
   • يقوم بقص كل عدد n-gram مرشح إلى الحد الأقصى لعدده في المراجع
   • ويحسب فقط الجملة الأولى
   • يعاقب أي تكرار إلى الصفر
7. When does BLEU’s brevity penalty reduce a candidate’s score?
   • When the candidate includes a unigram match
   • When the reference contains more than four words
   • When the candidate is shorter than the reference length
   • When the candidate uses a paraphrase
8. Why does BLEU take a geometric mean across n-gram precisions?
   • It converts precision into a confidence interval
   • It guarantees semantic equivalence
   • It removes the need for reference text
   • A low score at one n-gram order can substantially lower the combined score