পরবর্তী আপপরবর্তী গাইড
RAG মূল্যায়ন মেট্রিক্স এবং RAGAS
টেকনিক্যাল
প্রযুক্তিগত গাইড
ROUGE এবং BLEU মূল্যায়ন মেট্রিক্স
ROUGE এবং BLEU হল মানুষের রেফারেন্সের সাথে মেশিন-জেনারেট করা পাঠ্যের তুলনা করার জন্য ওয়ার্কহরস স্বয়ংক্রিয় মেট্রিক।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min
এই পৃষ্ঠায়2 মিনিট পঠিত
ওভারভিউ
BLEU was built for translation and leans on precision; ROUGE was built for summarization and leans on recall.
গভীর ডুব
উভয় মেট্রিক প্রার্থীর পাঠ্য এবং এক বা একাধিক রেফারেন্স পাঠ্যের মধ্যে n-গ্রাম ওভারল্যাপ পরিমাপ করে, তবে তারা বিভিন্ন দিকনির্দেশের উপর জোর দেয়। BLEU (দ্বিভাষিক মূল্যায়ন আন্ডারস্টাডি) পরিবর্তিত n-গ্রাম নির্ভুলতা গণনা করে (সাধারণত 1- থেকে 4-গ্রাম), তাদের জ্যামিতিকভাবে গুণ করে, এবং একটি সংক্ষিপ্ত শাস্তি প্রয়োগ করে যাতে একটি সিস্টেম খুব সংক্ষিপ্ত আউটপুট তৈরি করে স্কোর গেম করতে না পারে। ROUGE (Recal-Oriented Understudy for Gisting Evaluation) পরিবর্তে প্রত্যাহার করার পক্ষে: ROUGE-N ওভারল্যাপিং n-গ্রাম গণনা করে, ROUGE-L সংলগ্নতার প্রয়োজন ছাড়াই ইন-অর্ডার ম্যাচগুলিকে পুরস্কৃত করার জন্য দীর্ঘতম সাধারণ অনুবর্তন ব্যবহার করে। BLEU জিজ্ঞাসা করে 'সিস্টেম যা বলেছে তার কতটা সঠিক?' যখন ROUGE জিজ্ঞাসা করে 'কতটা রেফারেন্স সিস্টেম ক্যাপচার করেছে?'। উভয়ই সস্তা এবং পুনরুত্পাদনযোগ্য কিন্তু শুধুমাত্র পৃষ্ঠের শব্দ ওভারল্যাপ, অনুপস্থিত প্যারাফ্রেজ এবং অর্থ দেখুন।
বাস্তব-বিশ্ব বাস্তবায়ন
মেশিন অনুবাদ গবেষকরা সিস্টেমের গুণমানের তুলনা করতে WMT বেঞ্চমার্কে BLEU স্কোর রিপোর্ট করেন
CNN/DailyMail ডেটাসেটে ROUGE-1, ROUGE-2, এবং ROUGE-L-এর সংক্ষিপ্ত বিবরণ
একটি প্রকৌশল দল একটি অনুবাদ মডেলকে ফাইন-টিউন করার সময় রিগ্রেশন সনাক্ত করতে CI-তে BLEU ট্র্যাক করে
একটি সংক্ষিপ্তকরণ পণ্য ব্যয়বহুল মানব মূল্যায়ন চালানোর আগে একটি সস্তা স্বয়ংক্রিয় চেক হিসাবে ROUGE-L ব্যবহার করে
ROUGE এবং BLEU মূল্যায়ন মেট্রিক্সের ভবিষ্যত
কারণ n-গ্রাম মেট্রিক্স সঠিক শব্দের সাথে মিলে যায়, তারা বৈধ প্যারাফ্রেজ এবং সাবলীল পুনর্লিখনকে অবমূল্যায়ন করে, একটি ক্রমবর্ধমান সমস্যা কারণ এলএলএম আউটপুটগুলি রেফারেন্স থেকে আভিধানিকভাবে বিচ্ছিন্ন হয়। এম্বেডিং-ভিত্তিক মেট্রিক্স যেমন BERTScore এবং শেখা মেট্রিক্স যেমন BLEURT এবং COMET, প্লাস LLM-এ-বিচারক মূল্যায়ন, ক্রমবর্ধমান সম্পূরক বা প্রতিস্থাপন। তবুও, ROUGE এবং BLEU প্রায় প্রতিটি কাগজে রিপোর্ট করা দ্রুত, স্বচ্ছ বেসলাইন হিসাবে টিকে থাকে।
এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
কেন এটা গুরুত্বপূর্ণ
- খরচ ও বাজেট. আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
- সুস্পষ্ট সিদ্ধান্ত. কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
- মান নিয়ন্ত্রণ. ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।
জন্য সতর্ক
- একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
- অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
- সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।
পরবর্তী পদক্ষেপ
- বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
- বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
- ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
- স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।
অন্বেষণ চালিয়ে যান
ফ্রি নিউজলেটার
প্রতিদিনের এআই ব্রিফিং পান
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
Take the ROUGE and BLEU Evaluation Metrics quiz
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is ROUGE and BLEU Evaluation Metrics?
ROUGE এবং BLEU হল মানুষের রেফারেন্সের সাথে মেশিন-জেনারেট করা পাঠ্যের তুলনা করার জন্য ওয়ার্কহরস স্বয়ংক্রিয় মেট্রিক। BLEU অনুবাদের জন্য নির্মিত হয়েছিল এবং নির্ভুলতার উপর নির্ভর করে; ROUGE সংক্ষিপ্তকরণের জন্য তৈরি করা হয়েছিল এবং প্রত্যাহারে ঝুঁকছিল।
কোন মেট্রিকটি মূলত মেশিন অনুবাদের জন্য ডিজাইন করা হয়েছিল এবং নির্ভুলতার উপর জোর দেয়?
BLEU অনুবাদের জন্য তৈরি করা হয়েছে এবং সংক্ষিপ্ত শাস্তি সহ পরিবর্তিত n-গ্রাম নির্ভুলতার উপর ভিত্তি করে।
ROUGE প্রাথমিকভাবে কিসের দিকে ভিত্তিক?
ROUGE মানে Gisting Evaluation এর জন্য Recall-Oriented Understudy এবং কতটা রেফারেন্স ক্যাপচার করা হয়েছে তার উপর জোর দেয়।
BLEU এর সংক্ষিপ্ততা শাস্তি কি প্রতিরোধ করে?
সংক্ষিপ্ততা জরিমানা BLEU কে কম করে যখন প্রার্থী রেফারেন্সের চেয়ে ছোট হয়, সিস্টেমগুলিকে স্থূল আউটপুট সহ নির্ভুলতা বৃদ্ধি করা থেকে বিরত করে।
ROUGE-L কি পরিমাপ করে?
ROUGE-L দীর্ঘতম সাধারণ অনুবর্তন ব্যবহার করে, ব্যবধানের অনুমতি দেওয়ার সময় ইন-অর্ডার ম্যাচগুলিকে পুরস্কৃত করে।
BLEU এবং ROUGE উভয়ের একটি মূল ভাগ করা সীমাবদ্ধতা কী?
উভয়ই সঠিক শব্দ/n-গ্রাম মিলের উপর নির্ভর করে, তাই তারা বৈধ প্যারাফ্রেজগুলিকে কম মূল্য দেয় যা রেফারেন্স থেকে আভিধানিকভাবে আলাদা।
শিখতে থাকুন
সম্পর্কিত গাইড
এই বিষয়ের জন্য বাছাই করা আরও গাইড