মৌলিক নির্দেশিকা

যথার্থতা এবং প্রত্যাহার

যথার্থতা এবং প্রত্যাহার শ্রেণীবিভাগের মূল্যায়নের জন্য দুটি পরিপূরক মেট্রিক, বিশেষ করে যখন ক্লাস ভারসাম্যহীন হয়।

ওভারভিউ

যথার্থতা এবং প্রত্যাহার শ্রেণীবিভাগের মূল্যায়নের জন্য দুটি পরিপূরক মেট্রিক, বিশেষ করে যখন ক্লাস ভারসাম্যহীন হয়। একসাথে তারা প্রকাশ করে যে সরল নির্ভুলতা কী লুকিয়ে রাখে — কত ঘন ঘন একটি মডেলের ইতিবাচক ভবিষ্যদ্বাণী সঠিক হয় এবং এটি আসলে কতগুলি বাস্তব ইতিবাচকতা ধরে।

প্রিসিশন এবং রিকল কোর এআই টুলকিটে বসে। আপনি যখন এটি বুঝতে পারেন, তখন অন্যান্য AI বিষয়গুলি মূল্যায়ন এবং তুলনা করা সহজ হয়ে যায়।

গভীর ডুব

যখন একটি মডেল আইটেমগুলিকে ইতিবাচক হিসাবে পতাকাঙ্কিত করে, তখন দুটি প্রশ্ন গুরুত্বপূর্ণ। যথার্থতা জিজ্ঞাসা করে: আমরা যা কিছু পতাকাঙ্কিত করেছি, তার মধ্যে কতটা সত্যিই ইতিবাচক ছিল? এটি সমস্ত ভবিষ্যদ্বাণীকৃত ইতিবাচক দ্বারা বিভক্ত সত্য ইতিবাচকের সমান, মিথ্যা অ্যালার্মকে শাস্তি দেয়। প্রত্যাহার (সংবেদনশীলতা) জিজ্ঞাসা: সেখানে সমস্ত বাস্তব ইতিবাচক, আমরা কয়টি ধরতে পেরেছি? এটি সমস্ত প্রকৃত ইতিবাচক দ্বারা বিভক্ত সত্য ইতিবাচকের সমান, শাস্তিমূলক মিস। এগুলি সাধারণত বাণিজ্য বন্ধ করে: সিদ্ধান্তের থ্রেশহোল্ড কমানো আরও ইতিবাচক (উচ্চতর প্রত্যাহার) ক্যাচ করে তবে আরও আবর্জনা (নিম্ন নির্ভুলতা) এবং তদ্বিপরীত। কোনটিকে অগ্রাধিকার দিতে হবে তা খরচের উপর নির্ভর করে — একটি স্প্যাম ফিল্টার নির্ভুলতার পক্ষে (আসল মেল ট্র্যাশ করবেন না), যখন একটি ক্যান্সার স্ক্রীন প্রত্যাহার করার পক্ষে (টিউমার মিস করবেন না)। F1 স্কোর, তাদের সুরেলা গড়, উভয়কে একটি সংখ্যায় ভারসাম্য রাখে।

প্রযুক্তিগত অন্তর্দৃষ্টি

উভয় মেট্রিক্স বিভ্রান্তি ম্যাট্রিক্সের সত্য ইতিবাচক (TP), মিথ্যা ধনাত্মক (FP), এবং মিথ্যা নেতিবাচক (FN): যথার্থতা = TP / (TP + FP), Recall = TP / (TP + FN) থেকে আসে। উল্লেখযোগ্যভাবে, কেউই সত্যিকারের নেতিবাচক ব্যবহার করে না, এই কারণেই তারা তথ্যপূর্ণ থাকে যখন নেতিবাচকগুলি ইতিবাচকের সংখ্যাকে ছাড়িয়ে যায়। শ্রেণীবিন্যাস থ্রেশহোল্ড ঝাড়ু একটি নির্ভুলতা-রিকল বক্ররেখা চিহ্নিত করে; এটির অধীন এলাকা (গড় নির্ভুলতা) কর্মক্ষমতার সারসংক্ষেপ করে এবং অত্যন্ত ভারসাম্যহীন ডেটাতে ROC-AUC-এর চেয়ে পছন্দ করে।

প্রিসিশন এবং রিকল আয়ত্ত করা

গভীর বোঝাপড়া তৈরি করতে, প্রিসিশন এবং রিকলকে একটি অপারেটিং মডেল হিসাবে বিবেচনা করুন, একটি একক বৈশিষ্ট্য নয়। পছন্দসই ফলাফলগুলিকে সংজ্ঞায়িত করুন, অনুমানগুলিকে স্পষ্ট করুন এবং সিস্টেমটি নির্ভরযোগ্যভাবে কী করতে পারে তা এখনও বিশেষজ্ঞের বিচারের প্রয়োজন থেকে আলাদা করুন৷

অনুশীলনে, প্রিসিশন এবং রিকল ব্যবহার করে শক্তিশালী দলগুলি প্রথমে শক্তিশালী ধারণাগত মডেল তৈরি করে, তারপর সেই মডেলগুলিকে বাস্তব উত্পাদনের সীমাবদ্ধতায় ম্যাপ করে। তারা সুস্পষ্ট সাফল্যের মাপকাঠি নথিভুক্ত করে, বাস্তবসম্মত ডেটা এবং কর্মপ্রবাহের বিরুদ্ধে পরীক্ষা করে এবং এককালীন বেঞ্চমার্ক জয়ের পরিবর্তে পর্যবেক্ষিত ব্যর্থতার ধরণগুলির উপর ভিত্তি করে পুনরাবৃত্তি করে। এখানেই তাত্ত্বিক বোঝাপড়া পণ্য, নীতি এবং অপারেশন জুড়ে টেকসই সক্ষমতায় পরিণত হয়।

এটি আপনাকে বিপণনের ভাষা থেকে স্পষ্ট প্রযুক্তিগত দাবিগুলি আলাদা করতে সহায়তা করে। একই সময়ে, বিভিন্ন দল একই শব্দটি ভিন্নভাবে ব্যবহার করতে পারে, তাই সুযোগটি প্রথম দিকে সংজ্ঞায়িত করুন। সবচেয়ে স্থিতিস্থাপক পদ্ধতি হল প্রশাসনিক শৃঙ্খলার সাথে পরীক্ষার গতিকে একত্রিত করা: পাইলট চালান, প্রমাণ ক্যাপচার করুন, সিদ্ধান্তের লগ প্রকাশ করুন এবং মডেল আচরণ, ব্যবহারকারীর প্রত্যাশা এবং নিয়ন্ত্রক প্রয়োজনীয়তাগুলি বিকশিত হওয়ার সাথে সাথে অবিচ্ছিন্ন সুরক্ষাগুলি আপডেট করুন।

কৌশলগত প্রভাব

এটি আপনাকে বিপণনের ভাষা থেকে স্পষ্ট প্রযুক্তিগত দাবিগুলি আলাদা করতে সহায়তা করে।

এটি আপনাকে বিপণনের ভাষা থেকে স্পষ্ট প্রযুক্তিগত দাবিগুলি আলাদা করতে সহায়তা করে। উচ্চ-মানের স্থাপনায়, এটি পরিমাপযোগ্য অপারেটিং নিয়ম, মালিকানার সীমানা এবং পুনরাবৃত্ত পর্যালোচনার আচার-অনুষ্ঠানে অনুবাদ করা হয় যাতে দলগুলি অস্পষ্টতার পরিবর্তে আত্মবিশ্বাস বাড়াতে পারে।

অর্থ বা সময় ব্যয় করার আগে আপনি আরও ভাল বাস্তবায়ন প্রশ্ন জিজ্ঞাসা করতে পারেন।

অর্থ বা সময় ব্যয় করার আগে আপনি আরও ভাল বাস্তবায়ন প্রশ্ন জিজ্ঞাসা করতে পারেন। উচ্চ-মানের স্থাপনায়, এটি পরিমাপযোগ্য অপারেটিং নিয়ম, মালিকানার সীমানা এবং পুনরাবৃত্ত পর্যালোচনার আচার-অনুষ্ঠানে অনুবাদ করা হয় যাতে দলগুলি অস্পষ্টতার পরিবর্তে আত্মবিশ্বাস বাড়াতে পারে।

ভাগ করা বোঝাপড়া সহ দলগুলি আরও ভাল পণ্য, নীতি এবং শেখার সিদ্ধান্ত নেয়।

ভাগ করা বোঝাপড়া সহ দলগুলি আরও ভাল পণ্য, নীতি এবং শেখার সিদ্ধান্ত নেয়। উচ্চ-মানের স্থাপনায়, এটি পরিমাপযোগ্য অপারেটিং নিয়ম, মালিকানার সীমানা এবং পুনরাবৃত্ত পর্যালোচনার আচার-অনুষ্ঠানে অনুবাদ করা হয় যাতে দলগুলি অস্পষ্টতার পরিবর্তে আত্মবিশ্বাস বাড়াতে পারে।

যথার্থতা এবং স্মরণের ভবিষ্যত

যেহেতু AI হাই-স্টেকের ডোমেনে প্রবেশ করে — চিকিৎসা নির্ণয়, বিষয়বস্তু সংযম, জালিয়াতি — দলগুলি ক্রমবর্ধমানভাবে নির্ভুলতা রিপোর্ট করে এবং একা নির্ভুলতার পরিবর্তে স্মরণ করে (এবং তাদের বক্ররেখা) এবং বাস্তব-বিশ্বের খরচ এবং ন্যায্যতার সীমাবদ্ধতার সাথে মেলে। প্রতি-গ্রুপ নির্ভুলতা/রিকল অডিট জনসংখ্যা জুড়ে অসমান ত্রুটির হার সনাক্ত করার জন্য মানক হয়ে উঠছে। আরও সমৃদ্ধ খরচ-সংবেদনশীল মেট্রিক্স, ক্যালিব্রেটেড সম্ভাব্যতা এবং টুলিং আশা করুন যা স্টেকহোল্ডারদের ডিফল্ট 0.5 থ্রেশহোল্ড গ্রহণ করার পরিবর্তে ইন্টারেক্টিভভাবে অপারেটিং পয়েন্ট বাছাই করতে দেয়।

বাস্তব-বিশ্ব বাস্তবায়ন

স্প্যাম ফিল্টারগুলি উচ্চ নির্ভুলতার জন্য সুর করে তাই বৈধ ইমেলগুলি প্রায় কখনই স্প্যাম ফোল্ডারে ভুলভাবে পাঠানো হয় না।

মেডিক্যাল স্ক্রীনিং পরীক্ষাগুলি অনুপস্থিত রোগীদের এড়াতে উচ্চ প্রত্যাহারকে অগ্রাধিকার দেয় যাদের প্রকৃতপক্ষে রোগ রয়েছে, ফলো-আপের জন্য আরও মিথ্যা ইতিবাচক গ্রহণ করে।

র‍্যাঙ্কিং গুণমান পরিমাপ করতে অনুসন্ধান এবং সুপারিশ সিস্টেমগুলি precision@k (কতটি শীর্ষ k ফলাফল প্রাসঙ্গিক) রিপোর্ট করে।

জালিয়াতি সনাক্তকরণ F1 স্কোরের মাধ্যমে নির্ভুলতা এবং প্রত্যাহার ভারসাম্য বজায় রাখে, যেহেতু মিথ্যা অ্যালার্ম এবং মিস করা জালিয়াতি উভয়ই ব্যয়বহুল।

বাস্তবায়ন নিদর্শন

অনুশীলনে যথার্থতা এবং স্মরণ করুন

স্প্যাম ফিল্টারগুলি উচ্চ নির্ভুলতার জন্য সুর করে তাই বৈধ ইমেলগুলি প্রায় কখনই স্প্যাম ফোল্ডারে ভুলভাবে পাঠানো হয় না।

দলগুলি সাধারণত ভাল ফলাফল পায় যখন তারা সামনের মানের থ্রেশহোল্ডগুলিকে সংজ্ঞায়িত করে, প্রান্তের ক্ষেত্রে একটি মানবিক বৃদ্ধির পথ রাখে এবং সময়ের সাথে সাথে উত্পাদনশীলতা লাভ এবং ত্রুটির খরচ উভয়ই ট্র্যাক করে।

অনুশীলনে যথার্থতা এবং স্মরণ করুন

মেডিক্যাল স্ক্রীনিং পরীক্ষাগুলি অনুপস্থিত রোগীদের এড়াতে উচ্চ প্রত্যাহারকে অগ্রাধিকার দেয় যাদের প্রকৃতপক্ষে রোগ রয়েছে, ফলো-আপের জন্য আরও মিথ্যা ইতিবাচক গ্রহণ করে।

দলগুলি সাধারণত ভাল ফলাফল পায় যখন তারা সামনের মানের থ্রেশহোল্ডগুলিকে সংজ্ঞায়িত করে, প্রান্তের ক্ষেত্রে একটি মানবিক বৃদ্ধির পথ রাখে এবং সময়ের সাথে সাথে উত্পাদনশীলতা লাভ এবং ত্রুটির খরচ উভয়ই ট্র্যাক করে।

অনুশীলনে যথার্থতা এবং স্মরণ করুন

র‍্যাঙ্কিং গুণমান পরিমাপ করতে অনুসন্ধান এবং সুপারিশ সিস্টেমগুলি precision@k (কতটি শীর্ষ k ফলাফল প্রাসঙ্গিক) রিপোর্ট করে।

দলগুলি সাধারণত ভাল ফলাফল পায় যখন তারা সামনের মানের থ্রেশহোল্ডগুলিকে সংজ্ঞায়িত করে, প্রান্তের ক্ষেত্রে একটি মানবিক বৃদ্ধির পথ রাখে এবং সময়ের সাথে সাথে উত্পাদনশীলতা লাভ এবং ত্রুটির খরচ উভয়ই ট্র্যাক করে।

অনুশীলনে যথার্থতা এবং স্মরণ করুন

জালিয়াতি সনাক্তকরণ F1 স্কোরের মাধ্যমে নির্ভুলতা এবং প্রত্যাহার ভারসাম্য বজায় রাখে, যেহেতু মিথ্যা অ্যালার্ম এবং মিস করা জালিয়াতি উভয়ই ব্যয়বহুল।

দলগুলি সাধারণত ভাল ফলাফল পায় যখন তারা সামনের মানের থ্রেশহোল্ডগুলিকে সংজ্ঞায়িত করে, প্রান্তের ক্ষেত্রে একটি মানবিক বৃদ্ধির পথ রাখে এবং সময়ের সাথে সাথে উত্পাদনশীলতা লাভ এবং ত্রুটির খরচ উভয়ই ট্র্যাক করে।

ঝুঁকি এবং প্রহরী

!

বিভিন্ন দল একই শব্দটি ভিন্নভাবে ব্যবহার করতে পারে, তাই সুযোগটি আগে থেকেই নির্ধারণ করুন।

!

বেঞ্চমার্কগুলি শক্তিশালী দেখাতে পারে যখন বাস্তব-বিশ্বের কর্মক্ষমতা অসম হয়।

!

ডেটা গুণমান এবং মূল্যায়ন পরিকল্পনা উপেক্ষা করা প্রায়ই ভঙ্গুর ফলাফল তৈরি করে।

বাস্তবায়ন রোডম্যাপ

1

আপনার প্রয়োজনীয় ফলাফলের একটি সরল-ভাষা সংজ্ঞা দিয়ে শুরু করুন।

এটিকে একটি প্রমাণ গেট হিসাবে বিবেচনা করুন: যদি মানদণ্ড পূরণ না হয়, রোলআউটকে বিরতি দিন, ফাঁকটি বন্ধ করুন এবং শুধুমাত্র তারপর ব্যবহার প্রসারিত করুন৷

2

পরীক্ষার আগে একটি সাফল্যের মেট্রিক এবং একটি ব্যর্থতার শর্ত বাছুন।

এটিকে একটি প্রমাণ গেট হিসাবে বিবেচনা করুন: যদি মানদণ্ড পূরণ না হয়, রোলআউটকে বিরতি দিন, ফাঁকটি বন্ধ করুন এবং শুধুমাত্র তারপর ব্যবহার প্রসারিত করুন৷

3

একটি পালিশ ডেমো সেট নয়, প্রতিনিধি ডেটা সহ একটি ছোট পাইলট চালান৷

এটিকে একটি প্রমাণ গেট হিসাবে বিবেচনা করুন: যদি মানদণ্ড পূরণ না হয়, রোলআউটকে বিরতি দিন, ফাঁকটি বন্ধ করুন এবং শুধুমাত্র তারপর ব্যবহার প্রসারিত করুন৷

4

নথি যেখানে স্পষ্টতা এবং স্মরণ সাহায্য করে এবং যেখানে সহজ পদ্ধতিগুলি ভাল।

এটিকে একটি প্রমাণ গেট হিসাবে বিবেচনা করুন: যদি মানদণ্ড পূরণ না হয়, রোলআউটকে বিরতি দিন, ফাঁকটি বন্ধ করুন এবং শুধুমাত্র তারপর ব্যবহার প্রসারিত করুন৷

অন্বেষণ চালিয়ে যান

Check your understanding

Test yourself: take the Precision and Recall quiz

Start quiz