الدليل الفني
بيرتسكور والتقييم الدلالي
يقيس BERTScore مدى مطابقة النص الذي تم إنشاؤه آليًا لمرجع ما من خلال مقارنة المعنى، وليس الكلمات الدقيقة.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
إنه يعمل على إصلاح النقطة العمياء الأساسية للمقاييس القديمة التي تعاقب إعادة الصياغة الصحيحة.
الغوص العميق
يقوم BERTScore بتقييم النص الذي تم إنشاؤه (الترجمات والملخصات والتسميات التوضيحية) عن طريق تضمين كل رمز مميز مع نموذج سياقي مثل BERT أو RoBERTa، ثم مطابقة الرموز المميزة المرشحة للرموز المميزة عن طريق تشابه جيب التمام. المقاييس القديمة مثل BLEU و ROUGE تحسب عدد N-grams المتداخل، لذا فإن نتيجة "القطة على السجادة" و"قطط يجلس فوق السجادة" تقترب من الصفر على الرغم من تطابق المعنى. بدلاً من ذلك، يقوم BERTScore بحساب مطابقة الرموز المميزة، ثم يتم تجميعها في الدقة والاستدعاء وF1. نظرًا لأن التضمينات سياقية، فإن نفس الكلمة في جمل مختلفة تحصل على نواقل مختلفة، مما يلتقط الفروق الدقيقة. وهو يرتبط بشكل أفضل بكثير بالأحكام البشرية على الجودة، وخاصة بالنسبة لإعادة الصياغة بطلاقة، ولهذا السبب أصبح أداة قياسية للتقييم الدلالي بعد طرحه في عام 2019.
التنفيذ في العالم الحقيقي
تسجيل أنظمة الترجمة الآلية حيث تختلف الصياغة الصحيحة، لذا فإن BLEU يعاقب بشكل غير عادل إعادة الصياغة الصحيحة
تقييم الملخصات المجردة التي تعيد صياغة محتوى المصدر بكلمات جديدة بدلاً من نسخ العبارات
قياس نماذج التسميات التوضيحية للصور حيث تصف العديد من التسميات التوضيحية بطلاقة نفس الصورة
مقارنة استجابات chatbot أو ضمان الجودة بالإجابات الذهبية عندما تختلف الصياغة ولكن المعنى متطابق
مستقبل بيرتسكور والتقييم الدلالي
يتحول التقييم الدلالي نحو القضاة المتعلمين والمعتمدين على LLM الذين يقيمون الواقعية والتماسك والمساعدة بما يتجاوز التشابه الرمزي. يظل BERTScore بمثابة خط أساس سريع وقابل للتكرار، لكن الأساليب الأحدث مثل BLEURT وCOMET و"LLM-as-dudge" تفتقد صفات الالتقاط التي يفتقدها BERTScore، مثل الحقائق المهلوسة. توقع خطوط أنابيب هجينة: مقاييس تضمين رخيصة للفحص على نطاق واسع، مع تخصيص القضاة القائمين على النماذج الأكثر تكلفة للتقييم النهائي عالي المخاطر.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the BERTScore and Semantic Evaluation quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
ما هو BERTScore والتقييم الدلالي؟
يقيس BERTScore مدى مطابقة النص الذي تم إنشاؤه آليًا لمرجع ما من خلال مقارنة المعنى، وليس الكلمات الدقيقة. إنه يعمل على إصلاح النقطة العمياء الأساسية للمقاييس القديمة التي تعاقب إعادة الصياغة الصحيحة.
ما هي نقاط الضعف الأساسية في BLEU و ROUGE التي يعالجها BERTScore؟
BLEU و ROUGE يتداخلان مع عدد n-gram، لذا فإن إعادة الصياغة التي تحافظ على المعنى بكلمات مختلفة تسجل نتائج سيئة حتى عندما تكون صحيحة.
كيف يقرر BERTScore أن الرمزين متشابهان؟
يقوم BERTScore بتضمين الرموز المميزة بنموذج مثل BERT ومقارنتها باستخدام تشابه جيب التمام في الفضاء المتجه.
ماذا يعني أن تضمينات BERTScore هي "سياقية"؟
تنتج النماذج السياقية تضمينات مختلفة لنفس الكلمة في سياقات مختلفة، مما يلتقط الفروق الدقيقة في المعنى.
ما هي القيم الثلاث التي يبلغ عنها BERTScore عادة؟
يقوم BERTScore بتجميع مطابقة الرموز المميزة في الدقة والاستدعاء ودرجة F1 مجتمعة.
ما هو الغرض من الترجيح الاختياري لجيش الدفاع الإسرائيلي في BERTScore؟
يقلل التكرار العكسي للوثيقة من تأثير الكلمات المتكررة مثل "the" التي تحمل القليل من المعنى.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع