گائیڈ سے منسلک کوئز · درمیانہ سطح

BERTScore اور Semantic Evaluation کوئز

سیمنٹک ٹیکسٹ ایویلیویشن میں سیاق و سباق کے ٹوکن کی مماثلت، درستگی اور یاد کرنے کی سمت، IDF ویٹنگ اور بیس لائن ری اسکیلنگ کو چیک کرتا ہے۔

متعلقہ گائیڈ کے راستےبرٹسکور اور سیمنٹک ایویلیوایشن
سوال 1 کی 8

BLEU اور ROUGE کی بنیادی کمزوری کو BERTScore دور کرتا ہے؟

ہر سوال کا جائزہ لیں۔8 سوالات

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

  1. BLEU اور ROUGE کی بنیادی کمزوری کو BERTScore دور کرتا ہے؟
    • وہ مختلف الفاظ استعمال کرنے والے درست فقروں کو سزا دیتے ہیں۔
    • وہ لمبی دستاویزات پر بہت آہستہ چلتے ہیں۔
    • انہیں ہر اسکور کے لیے انسانی تشریح کرنے والوں کی ضرورت ہوتی ہے۔
    • وہ صرف ترجمہ پر کام کرتے ہیں، خلاصہ پر نہیں۔
  2. BERTScore یہ کیسے طے کرتا ہے کہ دو ٹوکن ایک جیسے ہیں؟
    • مشترکہ حروف کی گنتی کرکے
    • ان کے سیاق و سباق کے سرایت کی کوزائن مماثلت کے ذریعہ
    • چیک کرکے کہ آیا وہ ایک ہی لغت کے اندراج میں ظاہر ہوتے ہیں۔
    • عین مطابق سٹرنگ ملاپ کے ذریعے
  3. اس کا کیا مطلب ہے کہ BERTScore ایمبیڈنگز 'متناسب' ہیں؟
    • ان کا حساب صرف ایک بار ہر لفظ کے حساب سے کیا جاتا ہے۔
    • وہ ارد گرد کے الفاظ کو مکمل طور پر نظر انداز کر دیتے ہیں۔
    • ایک ہی لفظ کو اس کے جملے کے لحاظ سے مختلف ویکٹر ملتے ہیں۔
    • وہ الفاظ کی تعدد کی گنتی پر مبنی ہیں۔
  4. BERTScore عام طور پر کن تین اقدار کی اطلاع دیتا ہے؟
    • بلیو، روج، اور میٹیور
    • درستگی، یاد، اور الجھن
    • تعصب، تغیر، اور نقصان
    • درستگی، یاد، اور F1
  5. BERTScore میں اختیاری IDF وزن کا مقصد کیا ہے؟
    • بہت عام، کم معلوماتی الفاظ کو کم کرنے کے لیے
    • ایمبیڈنگ کمپیوٹیشن کو تیز کرنے کے لیے
    • سکور کو فیصد میں تبدیل کرنا
    • اسکور کرنے سے پہلے متن کا ترجمہ کرنا
  6. بیس لائن ری اسکیلنگ بعض اوقات BERTScore پر کیوں لاگو ہوتی ہے؟
    • حوالہ متن کی ضرورت کو دور کرنے کے لیے
    • خام اسکورز کو زیادہ قابل تشریح رینج میں پھیلانے کے لیے
    • مقابلے کے لیے اسے BLEU میں تبدیل کرنے کے لیے
    • سرایت کرنے والے ماڈل کو مکمل طور پر ختم کرنے کے لیے
  7. In BERTScore, which direction corresponds to recall?
    • For each candidate token, find its best-matching reference token
    • Compare sentence lengths only
    • For each reference token, find its best-matching candidate token
    • Count exact matching n-grams
  8. Why can IDF weighting change BERTScore’s token contribution?
    • It replaces contextual embeddings with word counts
    • It removes the reference text
    • It forces every token to have identical similarity
    • Common words receive less weight than more informative words