পরবর্তী আপপরবর্তী গাইড
সুপারিশ সিস্টেম মূল্যায়ন: NDCG, হিট রেট এবং আরও অনেক কিছু
টেকনিক্যাল
প্রযুক্তিগত গাইড
র্যাঙ্কিং মেট্রিক্স শুধুমাত্র পৃথক লেবেল সঠিক কিনা তা না করে আইটেমের ক্রম মূল্যায়ন করে।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min
Precision@k, recall@k, MAP, MRR এবং স্বাভাবিককৃত ছাড়যুক্ত ক্রমবর্ধমান লাভ বিভিন্ন দিকের উপর জোর দেয়, তাই মেট্রিক পছন্দ র্যাঙ্কিং টাস্ক এবং এর প্রাসঙ্গিকতা বিচারের সাথে মেলে।
র্যাঙ্কিং সিস্টেম প্রার্থীদের ব্যবহারকারী বা প্রশ্নের জন্য অর্ডার দেয়। প্রাসঙ্গিক ফলাফল কোথায় প্রদর্শিত হবে এবং কীভাবে প্রাসঙ্গিকতা সংজ্ঞায়িত করা হয়েছে তা মূল্যায়ন প্রতিফলিত করা উচিত। k এ নির্ভুলতা হল প্রাসঙ্গিক বিচার করা শীর্ষ k ফলাফলের ভগ্নাংশ। k-এ রিকল হল শীর্ষ k-তে পুনরুদ্ধার করা সমস্ত প্রাসঙ্গিক প্রার্থীদের ভগ্নাংশ। স্পষ্টতা প্রদর্শিত সেটের মানের উপর জোর দেয়; রিকল প্রাসঙ্গিক সেটের কতটা পাওয়া গেছে তা জোর দেয়। গড় নির্ভুলতা র্যাঙ্কগুলিতে নির্ভুলতাকে সংক্ষিপ্ত করে যেখানে প্রাসঙ্গিক আইটেমগুলি ঘটে এবং গড় নির্ভুলতা (MAP) গড়কে বোঝায় যেগুলি সমস্ত প্রশ্নের মান। গড় পারস্পরিক র্যাঙ্ক (MRR) প্রথম প্রাসঙ্গিক ফলাফলের র্যাঙ্কের পারস্পরিক এবং কোয়েরি জুড়ে গড় ব্যবহার করে। এমআরআর কার্যকর যখন একটি ভাল ফলাফল দ্রুত খুঁজে পাওয়া অগ্রাধিকার, কিন্তু এটি মূলত পরবর্তী র্যাঙ্কগুলির গুণমানকে উপেক্ষা করে। ডিসকাউন্টেড কিউমুলেটিভ গেইন (DCG) গ্রেডেড প্রাসঙ্গিকতা সমর্থন করে। একটি লাভ ফাংশন আরও প্রাসঙ্গিক আইটেমগুলির জন্য বৃহত্তর মান নির্ধারণ করে, যখন লগারিদমিক ডিসকাউন্ট তালিকার নীচের আইটেমগুলির জন্য ক্রেডিট হ্রাস করে৷ সাধারণীকৃত DCG সেই প্রশ্নের জন্য আদর্শ DCG দ্বারা একটি র্যাঙ্কিংয়ের DCG কে ভাগ করে, যখন সংজ্ঞাগুলি সারিবদ্ধ হয় তখন সাধারণত শূন্য এবং একের মধ্যে একটি স্কোর দেয়। এই স্বাভাবিকীকরণটি বিভিন্ন প্রাসঙ্গিক বিতরণের সাথে প্রশ্ন জুড়ে মানগুলিকে আরও তুলনামূলক করে তোলে, তবে সমষ্টিগত পছন্দগুলি এখনও গুরুত্বপূর্ণ। ধরুন একটি ক্যোয়ারীতে একটি অত্যন্ত প্রাসঙ্গিক আইটেম এবং আরেকটি হালকা প্রাসঙ্গিক আইটেম রয়েছে৷ অত্যন্ত প্রাসঙ্গিক ফলাফল প্রথম রাখলে দ্বিতীয় স্থানে রাখার চেয়ে বেশি DCG পাওয়া যায়। এনডিসিজি গ্রেডেড প্রাসঙ্গিকতা এবং র্যাঙ্কের অবস্থান উভয়ই ক্যাপচার করে। এটি প্রাসঙ্গিকতা লেবেল নিরপেক্ষ কিনা বা প্রার্থী-প্রজন্ম প্রক্রিয়া দরকারী আইটেমগুলি বাদ দিয়েছে কিনা তা প্রতিষ্ঠিত করে না। মেট্রিক্স কাটঅফ k, লাভ সূত্র এবং লেবেল থ্রেশহোল্ডের সাথে পরিবর্তিত হতে পারে। এই পছন্দগুলি রিপোর্ট করুন এবং একই ক্যোয়ারী সেট জুড়ে মূল্যায়ন করুন। অফলাইন মেট্রিকগুলি ব্যবহারকারীর সন্তুষ্টি, বৈচিত্র্য, সতেজতা, এক্সপোজার পক্ষপাত বা দীর্ঘমেয়াদী ফলাফলগুলিকে সম্পূর্ণরূপে ক্যাপচার করে না। অনলাইন পরীক্ষা-নিরীক্ষা বা মানবিক পর্যালোচনার পাশাপাশি এগুলি ব্যবহার করুন, যখন দাবি এড়িয়ে যান যে শুধুমাত্র একটি উচ্চ স্কোরই একটি ভাল ব্যবহারকারীর অভিজ্ঞতা প্রমাণ করে।
একটি অনুসন্ধান ফলাফল তালিকায় পাঁচটি আইটেম রয়েছে এবং দুটি প্রাসঙ্গিক। Precision@5 হল 2/5, যখন recall@5 সম্পূর্ণ প্রার্থী সেটে কতগুলি প্রাসঙ্গিক আইটেম বিদ্যমান তার উপর নির্ভর করে।
একজন ব্যবহারকারীর তিনটি প্রাসঙ্গিক আইটেম রয়েছে এবং একটি সিস্টেম শীর্ষ পাঁচটির মধ্যে দুটি পুনরুদ্ধার করে। Recall@5 হল 2/3 যদিও precision@5 হল 2/5; ব্যবস্থা বিভিন্ন প্রশ্নের উত্তর দেয়।
গ্রেড করা প্রাসঙ্গিকতার জন্য, DCG অত্যন্ত প্রাসঙ্গিক আইটেমগুলিকে বেশি পুরস্কৃত করে যখন সেগুলি শীর্ষের কাছে উপস্থিত হয়, লাভ এবং লগারিদমিক র্যাঙ্ক ডিসকাউন্ট ব্যবহার করে৷ স্কেল স্বাভাবিক করার জন্য একই প্রশ্নের জন্য NDCG আদর্শ DCG দ্বারা ভাগ করে।
একটি সুপারিশকারী দল এমআরআর রিপোর্ট করে যখন প্রথম প্রাসঙ্গিক ফলাফল সবচেয়ে গুরুত্বপূর্ণ এবং NDCG যখন তালিকা জুড়ে একাধিক আইটেম এবং গ্রেড প্রাসঙ্গিকতা গুরুত্বপূর্ণ।
একটি সমষ্টি সংখ্যার পরিবর্তে শীর্ষ-কে মেট্রিক্স, প্রাসঙ্গিকতা সংজ্ঞা এবং প্রতি-কোয়েরি বন্টন প্রদর্শন করে র্যাঙ্কিং রিপোর্ট উন্নত হতে পারে। টাস্কটি সমস্ত প্রাসঙ্গিক ফলাফল, প্রথম দরকারী ফলাফল বা তালিকা জুড়ে গ্রেডেড মানের মূল্য দেয় কিনা তার উপর ভিত্তি করে দলগুলির MAP, MRR বা NDCG বেছে নেওয়া উচিত। তাদের প্রাসঙ্গিক বিচার এবং প্রার্থীর এক্সপোজার অডিট করা উচিত, যেহেতু মেট্রিক্স মূল্যায়নের জন্য পুনরুদ্ধার করা আইটেমগুলিকে পুরস্কৃত করতে পারে না। মানুষের সন্তুষ্টি এবং বৈচিত্র্য পরীক্ষা অফলাইন স্কোরের পরিপূরক হতে পারে। র্যাঙ্কিংয়ের উদ্দেশ্যগুলি বিকশিত হওয়ার সাথে সাথে সামঞ্জস্যপূর্ণ ঐতিহাসিক সংজ্ঞা সংরক্ষণ করুন যাতে প্রবণতা তুলনা অর্থবহ থাকে।
ফ্রি নিউজলেটার
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
র্যাঙ্কিং মেট্রিক্স শুধুমাত্র পৃথক লেবেল সঠিক কিনা তা না করে আইটেমের ক্রম মূল্যায়ন করে। Precision@k, recall@k, MAP, MRR এবং স্বাভাবিককৃত ছাড়যুক্ত ক্রমবর্ধমান লাভ বিভিন্ন দিকের উপর জোর দেয়, তাই মেট্রিক পছন্দ র্যাঙ্কিং টাস্ক এবং এর প্রাসঙ্গিকতা বিচারের সাথে মেলে।
Precision@k প্রাসঙ্গিক ফলাফলগুলিকে উপরের k কে k দ্বারা ভাগ করে, তাই এটি 2/5।
রিকল মোট প্রাসঙ্গিক সেট দ্বারা পুনরুদ্ধার করা প্রাসঙ্গিক আইটেমকে ভাগ করে: 2/3।
MRR প্রথম প্রাসঙ্গিক ফলাফলের পারস্পরিক র্যাঙ্ক গড় করে।
NDCG একই প্রশ্নের জন্য একটি আদর্শ আদেশের সাথে পর্যবেক্ষণ করা আদেশের তুলনা করে।
MRR প্রথম প্রাসঙ্গিক র্যাঙ্ক দ্বারা চালিত হয় এবং যখন একটি প্রাথমিক দরকারী ফলাফল গুরুত্বপূর্ণ।
শিখতে থাকুন
এই বিষয়ের জন্য বাছাই করা আরও গাইড
পরবর্তী আপপরবর্তী গাইড
সুপারিশ সিস্টেম মূল্যায়ন: NDCG, হিট রেট এবং আরও অনেক কিছু
টেকনিক্যাল