প্রযুক্তিগত গাইড

এনডিসিজি এবং র‌্যাঙ্কিং মেট্রিক্স

র‌্যাঙ্কিং মেট্রিক্স শুধুমাত্র পৃথক লেবেল সঠিক কিনা তা না করে আইটেমের ক্রম মূল্যায়ন করে।

এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min

এই পৃষ্ঠায়3 মিনিট পড়া হয়েছে
  1. ওভারভিউ
  2. গভীর ডুব
  3. বাস্তব-বিশ্ব বাস্তবায়ন
  4. এনডিসিজি এবং র‌্যাঙ্কিং মেট্রিক্সের ভবিষ্যত
  5. এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
  6. অন্বেষণ চালিয়ে যান
  7. প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

ওভারভিউ

Precision@k, recall@k, MAP, MRR এবং স্বাভাবিককৃত ছাড়যুক্ত ক্রমবর্ধমান লাভ বিভিন্ন দিকের উপর জোর দেয়, তাই মেট্রিক পছন্দ র‌্যাঙ্কিং টাস্ক এবং এর প্রাসঙ্গিকতা বিচারের সাথে মেলে।

গভীর ডুব

র‌্যাঙ্কিং সিস্টেম প্রার্থীদের ব্যবহারকারী বা প্রশ্নের জন্য অর্ডার দেয়। প্রাসঙ্গিক ফলাফল কোথায় প্রদর্শিত হবে এবং কীভাবে প্রাসঙ্গিকতা সংজ্ঞায়িত করা হয়েছে তা মূল্যায়ন প্রতিফলিত করা উচিত। k এ নির্ভুলতা হল প্রাসঙ্গিক বিচার করা শীর্ষ k ফলাফলের ভগ্নাংশ। k-এ রিকল হল শীর্ষ k-তে পুনরুদ্ধার করা সমস্ত প্রাসঙ্গিক প্রার্থীদের ভগ্নাংশ। স্পষ্টতা প্রদর্শিত সেটের মানের উপর জোর দেয়; রিকল প্রাসঙ্গিক সেটের কতটা পাওয়া গেছে তা জোর দেয়। গড় নির্ভুলতা র‌্যাঙ্কগুলিতে নির্ভুলতাকে সংক্ষিপ্ত করে যেখানে প্রাসঙ্গিক আইটেমগুলি ঘটে এবং গড় নির্ভুলতা (MAP) গড়কে বোঝায় যেগুলি সমস্ত প্রশ্নের মান। গড় পারস্পরিক র‌্যাঙ্ক (MRR) প্রথম প্রাসঙ্গিক ফলাফলের র‌্যাঙ্কের পারস্পরিক এবং কোয়েরি জুড়ে গড় ব্যবহার করে। এমআরআর কার্যকর যখন একটি ভাল ফলাফল দ্রুত খুঁজে পাওয়া অগ্রাধিকার, কিন্তু এটি মূলত পরবর্তী র্যাঙ্কগুলির গুণমানকে উপেক্ষা করে। ডিসকাউন্টেড কিউমুলেটিভ গেইন (DCG) গ্রেডেড প্রাসঙ্গিকতা সমর্থন করে। একটি লাভ ফাংশন আরও প্রাসঙ্গিক আইটেমগুলির জন্য বৃহত্তর মান নির্ধারণ করে, যখন লগারিদমিক ডিসকাউন্ট তালিকার নীচের আইটেমগুলির জন্য ক্রেডিট হ্রাস করে৷ সাধারণীকৃত DCG সেই প্রশ্নের জন্য আদর্শ DCG দ্বারা একটি র‌্যাঙ্কিংয়ের DCG কে ভাগ করে, যখন সংজ্ঞাগুলি সারিবদ্ধ হয় তখন সাধারণত শূন্য এবং একের মধ্যে একটি স্কোর দেয়। এই স্বাভাবিকীকরণটি বিভিন্ন প্রাসঙ্গিক বিতরণের সাথে প্রশ্ন জুড়ে মানগুলিকে আরও তুলনামূলক করে তোলে, তবে সমষ্টিগত পছন্দগুলি এখনও গুরুত্বপূর্ণ। ধরুন একটি ক্যোয়ারীতে একটি অত্যন্ত প্রাসঙ্গিক আইটেম এবং আরেকটি হালকা প্রাসঙ্গিক আইটেম রয়েছে৷ অত্যন্ত প্রাসঙ্গিক ফলাফল প্রথম রাখলে দ্বিতীয় স্থানে রাখার চেয়ে বেশি DCG পাওয়া যায়। এনডিসিজি গ্রেডেড প্রাসঙ্গিকতা এবং র্যাঙ্কের অবস্থান উভয়ই ক্যাপচার করে। এটি প্রাসঙ্গিকতা লেবেল নিরপেক্ষ কিনা বা প্রার্থী-প্রজন্ম প্রক্রিয়া দরকারী আইটেমগুলি বাদ দিয়েছে কিনা তা প্রতিষ্ঠিত করে না। মেট্রিক্স কাটঅফ k, লাভ সূত্র এবং লেবেল থ্রেশহোল্ডের সাথে পরিবর্তিত হতে পারে। এই পছন্দগুলি রিপোর্ট করুন এবং একই ক্যোয়ারী সেট জুড়ে মূল্যায়ন করুন। অফলাইন মেট্রিকগুলি ব্যবহারকারীর সন্তুষ্টি, বৈচিত্র্য, সতেজতা, এক্সপোজার পক্ষপাত বা দীর্ঘমেয়াদী ফলাফলগুলিকে সম্পূর্ণরূপে ক্যাপচার করে না। অনলাইন পরীক্ষা-নিরীক্ষা বা মানবিক পর্যালোচনার পাশাপাশি এগুলি ব্যবহার করুন, যখন দাবি এড়িয়ে যান যে শুধুমাত্র একটি উচ্চ স্কোরই একটি ভাল ব্যবহারকারীর অভিজ্ঞতা প্রমাণ করে।

বাস্তব-বিশ্ব বাস্তবায়ন

একটি অনুসন্ধান ফলাফল তালিকায় পাঁচটি আইটেম রয়েছে এবং দুটি প্রাসঙ্গিক। Precision@5 হল 2/5, যখন recall@5 সম্পূর্ণ প্রার্থী সেটে কতগুলি প্রাসঙ্গিক আইটেম বিদ্যমান তার উপর নির্ভর করে।

একজন ব্যবহারকারীর তিনটি প্রাসঙ্গিক আইটেম রয়েছে এবং একটি সিস্টেম শীর্ষ পাঁচটির মধ্যে দুটি পুনরুদ্ধার করে। Recall@5 হল 2/3 যদিও precision@5 হল 2/5; ব্যবস্থা বিভিন্ন প্রশ্নের উত্তর দেয়।

গ্রেড করা প্রাসঙ্গিকতার জন্য, DCG অত্যন্ত প্রাসঙ্গিক আইটেমগুলিকে বেশি পুরস্কৃত করে যখন সেগুলি শীর্ষের কাছে উপস্থিত হয়, লাভ এবং লগারিদমিক র‍্যাঙ্ক ডিসকাউন্ট ব্যবহার করে৷ স্কেল স্বাভাবিক করার জন্য একই প্রশ্নের জন্য NDCG আদর্শ DCG দ্বারা ভাগ করে।

একটি সুপারিশকারী দল এমআরআর রিপোর্ট করে যখন প্রথম প্রাসঙ্গিক ফলাফল সবচেয়ে গুরুত্বপূর্ণ এবং NDCG যখন তালিকা জুড়ে একাধিক আইটেম এবং গ্রেড প্রাসঙ্গিকতা গুরুত্বপূর্ণ।

এনডিসিজি এবং র‌্যাঙ্কিং মেট্রিক্সের ভবিষ্যত

একটি সমষ্টি সংখ্যার পরিবর্তে শীর্ষ-কে মেট্রিক্স, প্রাসঙ্গিকতা সংজ্ঞা এবং প্রতি-কোয়েরি বন্টন প্রদর্শন করে র‌্যাঙ্কিং রিপোর্ট উন্নত হতে পারে। টাস্কটি সমস্ত প্রাসঙ্গিক ফলাফল, প্রথম দরকারী ফলাফল বা তালিকা জুড়ে গ্রেডেড মানের মূল্য দেয় কিনা তার উপর ভিত্তি করে দলগুলির MAP, MRR বা NDCG বেছে নেওয়া উচিত। তাদের প্রাসঙ্গিক বিচার এবং প্রার্থীর এক্সপোজার অডিট করা উচিত, যেহেতু মেট্রিক্স মূল্যায়নের জন্য পুনরুদ্ধার করা আইটেমগুলিকে পুরস্কৃত করতে পারে না। মানুষের সন্তুষ্টি এবং বৈচিত্র্য পরীক্ষা অফলাইন স্কোরের পরিপূরক হতে পারে। র‌্যাঙ্কিংয়ের উদ্দেশ্যগুলি বিকশিত হওয়ার সাথে সাথে সামঞ্জস্যপূর্ণ ঐতিহাসিক সংজ্ঞা সংরক্ষণ করুন যাতে প্রবণতা তুলনা অর্থবহ থাকে।

এটাকে বাস্তবে প্রয়োগ করা হচ্ছে

কেন এটা গুরুত্বপূর্ণ

  • খরচ ও বাজেট. আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
  • সুস্পষ্ট সিদ্ধান্ত. কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
  • মান নিয়ন্ত্রণ. ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।

জন্য সতর্ক

  • একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
  • অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
  • সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।

পরবর্তী পদক্ষেপ

  1. বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
  2. বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
  3. ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
  4. স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।

অন্বেষণ চালিয়ে যান

ফ্রি নিউজলেটার

প্রতিদিনের এআই ব্রিফিং পান

প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।

প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।

নিজেকে পরীক্ষা করুন

Take the NDCG and Ranking Metrics quiz

প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।

কুইজ শুরু করুন

ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন

প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

এনডিসিজি এবং র‌্যাঙ্কিং মেট্রিক্স কী?

র‌্যাঙ্কিং মেট্রিক্স শুধুমাত্র পৃথক লেবেল সঠিক কিনা তা না করে আইটেমের ক্রম মূল্যায়ন করে। Precision@k, recall@k, MAP, MRR এবং স্বাভাবিককৃত ছাড়যুক্ত ক্রমবর্ধমান লাভ বিভিন্ন দিকের উপর জোর দেয়, তাই মেট্রিক পছন্দ র‌্যাঙ্কিং টাস্ক এবং এর প্রাসঙ্গিকতা বিচারের সাথে মেলে।

দুটি প্রাসঙ্গিক আইটেম শীর্ষ পাঁচে উপস্থিত হয়। নির্ভুলতা @5 কি?

Precision@k প্রাসঙ্গিক ফলাফলগুলিকে উপরের k কে k দ্বারা ভাগ করে, তাই এটি 2/5।

তিনজন প্রাসঙ্গিক প্রার্থীর মধ্যে দুজন শীর্ষ পাঁচে উপস্থিত হন। রিকল@5 কি?

রিকল মোট প্রাসঙ্গিক সেট দ্বারা পুনরুদ্ধার করা প্রাসঙ্গিক আইটেমকে ভাগ করে: 2/3।

কোন মেট্রিক প্রথম প্রাসঙ্গিক ফলাফলের র্যাঙ্কের উপর জোর দেয়?

MRR প্রথম প্রাসঙ্গিক ফলাফলের পারস্পরিক র্যাঙ্ক গড় করে।

আদর্শ ডিসিজি কীভাবে স্বাভাবিক ডিসিজিতে অবদান রাখে?

NDCG একই প্রশ্নের জন্য একটি আদর্শ আদেশের সাথে পর্যবেক্ষণ করা আদেশের তুলনা করে।

কোন কাজটি MRR এর সাথে সেরা মেলে?

MRR প্রথম প্রাসঙ্গিক র‍্যাঙ্ক দ্বারা চালিত হয় এবং যখন একটি প্রাথমিক দরকারী ফলাফল গুরুত্বপূর্ণ।

শিখতে থাকুন

সম্পর্কিত গাইড

এই বিষয়ের জন্য বাছাই করা আরও গাইড

একটি বিনামূল্যে AI শংসাপত্র পানএকটি সংক্ষিপ্ত বিনামূল্যে কোর্স এবং পরীক্ষা. কোনো খরচ নেই, কোনো কার্ড নেই। প্রায় 2.5 ঘন্টা।বিনামূল্যে শুরু করুন →