الدليل الفني
مقاييس تقييم ROUGE وBLEU
ROUGE وBLEU هما المقياسان الآليان الأساسيان لمقارنة النص الذي تم إنشاؤه آليًا مع المراجع البشرية.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
تم تصميم BLEU للترجمة ويعتمد على الدقة؛ تم تصميم ROUGE للتلخيص ويعتمد على الاستدعاء.
الغوص العميق
يقيس كلا المقياسين تداخل الـ n-gram بين النص المرشح ونص مرجعي واحد أو أكثر، لكنهما يؤكدان على اتجاهات مختلفة. يحسب BLEU (دراسة التقييم ثنائي اللغة) دقة N-gram المعدلة (عادةً من 1 إلى 4 جرام)، ويضربها هندسيًا، ويطبق عقوبة الإيجاز حتى لا يتمكن النظام من التلاعب بالنتيجة من خلال إنتاج مخرجات قصيرة جدًا. ROUGE (الدراسة الموجهة نحو الاستدعاء لتقييم Gisting) تفضل الاستدعاء: ROUGE-N يحسب n-grams المتداخلة، ويستخدم ROUGE-L أطول تسلسل فرعي مشترك لمكافأة المطابقات بالترتيب دون الحاجة إلى التواصل. يسأل BLEU "ما مدى صحة ما قاله النظام؟" بينما يسأل ROUGE "ما مقدار المرجع الذي التقطه النظام؟". كلاهما رخيصان وقابلان للتكرار، لكنهما لا يشهدان سوى تداخل الكلمات السطحية، ويفتقدان إعادة الصياغة والمعنى.
التنفيذ في العالم الحقيقي
أعلن باحثو الترجمة الآلية عن نتائج BLEU وفقًا لمعايير WMT لمقارنة جودة النظام
تشير أوراق التلخيص إلى ROUGE-1 وROUGE-2 وROUGE-L في مجموعة بيانات CNN/DailyMail
يقوم فريق هندسي بتتبع BLEU في CI لاكتشاف التراجعات عند ضبط نموذج الترجمة
يستخدم منتج التلخيص ROUGE-L كفحص تلقائي رخيص قبل إجراء تقييم بشري أكثر تكلفة
مستقبل مقاييس تقييم ROUGE وBLEU
نظرًا لأن مقاييس n-gram تكافئ التطابقات الدقيقة للكلمات، فإنها تقلل من قيمة إعادة الصياغة الصحيحة وإعادة الكتابة بطلاقة، وهي مشكلة متنامية حيث تتباعد مخرجات LLM بشكل معجمي عن المراجع. إن المقاييس القائمة على التضمين مثل BERTScore والمقاييس المستفادة مثل BLEURT وCOMET، بالإضافة إلى تقييم LLM كقاضي، تكملها أو تحل محلها بشكل متزايد. ومع ذلك، فإن ROUGE وBLEU ما زالا يحتفظان بخطوط الأساس السريعة والشفافة المذكورة في كل ورقة بحثية تقريبًا.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the ROUGE and BLEU Evaluation Metrics quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
ما هي مقاييس التقييم ROUGE وBLEU؟
ROUGE وBLEU هما المقياسان الآليان الأساسيان لمقارنة النص الذي تم إنشاؤه آليًا مع المراجع البشرية. تم تصميم BLEU للترجمة ويعتمد على الدقة؛ تم تصميم ROUGE للتلخيص ويعتمد على الاستدعاء.
ما هو المقياس الذي تم تصميمه في الأصل للترجمة الآلية ويؤكد على الدقة؟
تم إنشاء BLEU للترجمة ويعتمد على دقة n-gram المعدلة مع عقوبة الإيجاز.
ما هو ROUGE الموجه في المقام الأول نحو؟
ROUGE هو اختصار لـ Recall-Oriented Understudy for Gisting Evaluation ويؤكد على مقدار المرجع الذي تم التقاطه.
ما الذي تمنعه عقوبة الإيجاز في BLEU؟
تعمل عقوبة الإيجاز على خفض BLEU عندما يكون المرشح أقصر من المرجع، مما يمنع الأنظمة من تضخيم الدقة بمخرجات مقتضبة.
ما الذي يقيسه ROUGE-L؟
يستخدم ROUGE-L أطول تسلسل مشترك، ويكافئ المطابقات بالترتيب مع السماح بالفجوات.
ما هو القيد الرئيسي المشترك لكل من BLEU وROUGE؟
يعتمد كلاهما على المطابقة الدقيقة للكلمات/n-gram، لذا فهما يقللان من قيمة إعادة الصياغة الصحيحة التي تختلف معجميًا عن المرجع.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع