পরবর্তী আপপরবর্তী গাইড
Recall, Precision and Elusion Testing in Document Review
টেকনিক্যাল
মৌলিক নির্দেশিকা
যথার্থতা এবং প্রত্যাহার
যথার্থতা এবং প্রত্যাহার শ্রেণীবিভাগের মূল্যায়নের জন্য দুটি পরিপূরক মেট্রিক, বিশেষ করে যখন ক্লাস ভারসাম্যহীন হয়।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min
এই পৃষ্ঠায়2 মিনিট পঠিত
ওভারভিউ
Together they reveal what plain accuracy hides — how often a model's positive predictions are right, and how many real positives it actually catches.
গভীর ডুব
যখন একটি মডেল আইটেমগুলিকে ইতিবাচক হিসাবে পতাকাঙ্কিত করে, তখন দুটি প্রশ্ন গুরুত্বপূর্ণ। যথার্থতা জিজ্ঞাসা করে: আমরা যা কিছু পতাকাঙ্কিত করেছি, তার মধ্যে কতটা সত্যিই ইতিবাচক ছিল? এটি সমস্ত ভবিষ্যদ্বাণীকৃত ইতিবাচক দ্বারা বিভক্ত সত্য ইতিবাচকের সমান, মিথ্যা অ্যালার্মকে শাস্তি দেয়। প্রত্যাহার (সংবেদনশীলতা) জিজ্ঞাসা: সেখানে সমস্ত বাস্তব ইতিবাচক, আমরা কয়টি ধরতে পেরেছি? এটি সমস্ত প্রকৃত ইতিবাচক দ্বারা বিভক্ত সত্য ইতিবাচকের সমান, শাস্তিমূলক মিস। এগুলি সাধারণত বাণিজ্য বন্ধ করে: সিদ্ধান্তের থ্রেশহোল্ড কমানো আরও ইতিবাচক (উচ্চতর প্রত্যাহার) ক্যাচ করে তবে আরও আবর্জনা (নিম্ন নির্ভুলতা) এবং তদ্বিপরীত। কোনটিকে অগ্রাধিকার দিতে হবে তা খরচের উপর নির্ভর করে — একটি স্প্যাম ফিল্টার নির্ভুলতার পক্ষে (আসল মেল ট্র্যাশ করবেন না), যখন একটি ক্যান্সার স্ক্রীন প্রত্যাহার করার পক্ষে (টিউমার মিস করবেন না)। F1 স্কোর, তাদের সুরেলা গড়, উভয়কে একটি সংখ্যায় ভারসাম্য রাখে।
বাস্তব-বিশ্ব বাস্তবায়ন
স্প্যাম ফিল্টারগুলি উচ্চ নির্ভুলতার জন্য সুর করে তাই বৈধ ইমেলগুলি প্রায় কখনই স্প্যাম ফোল্ডারে ভুলভাবে পাঠানো হয় না।
মেডিক্যাল স্ক্রীনিং পরীক্ষাগুলি অনুপস্থিত রোগীদের এড়াতে উচ্চ প্রত্যাহারকে অগ্রাধিকার দেয় যাদের প্রকৃতপক্ষে রোগ রয়েছে, ফলো-আপের জন্য আরও মিথ্যা ইতিবাচক গ্রহণ করে।
র্যাঙ্কিং গুণমান পরিমাপ করতে অনুসন্ধান এবং সুপারিশ সিস্টেমগুলি precision@k (কতটি শীর্ষ k ফলাফল প্রাসঙ্গিক) রিপোর্ট করে।
জালিয়াতি সনাক্তকরণ F1 স্কোরের মাধ্যমে নির্ভুলতা এবং প্রত্যাহার ভারসাম্য বজায় রাখে, যেহেতু মিথ্যা অ্যালার্ম এবং মিস করা জালিয়াতি উভয়ই ব্যয়বহুল।
যথার্থতা এবং স্মরণের ভবিষ্যত
যেহেতু AI হাই-স্টেকের ডোমেনে প্রবেশ করে — চিকিৎসা নির্ণয়, বিষয়বস্তু সংযম, জালিয়াতি — দলগুলি ক্রমবর্ধমানভাবে নির্ভুলতা রিপোর্ট করে এবং একা নির্ভুলতার পরিবর্তে স্মরণ করে (এবং তাদের বক্ররেখা) এবং বাস্তব-বিশ্বের খরচ এবং ন্যায্যতার সীমাবদ্ধতার সাথে মেলে। প্রতি-গ্রুপ নির্ভুলতা/রিকল অডিট জনসংখ্যা জুড়ে অসমান ত্রুটির হার সনাক্ত করার জন্য মানক হয়ে উঠছে। আরও সমৃদ্ধ খরচ-সংবেদনশীল মেট্রিক্স, ক্যালিব্রেটেড সম্ভাব্যতা এবং টুলিং আশা করুন যা স্টেকহোল্ডারদের ডিফল্ট 0.5 থ্রেশহোল্ড গ্রহণ করার পরিবর্তে ইন্টারেক্টিভভাবে অপারেটিং পয়েন্ট বাছাই করতে দেয়।
এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
কেন এটা গুরুত্বপূর্ণ
- সুস্পষ্ট সিদ্ধান্ত. এটি আপনাকে বিপণনের ভাষা থেকে স্পষ্ট প্রযুক্তিগত দাবিগুলি আলাদা করতে সহায়তা করে।
- খরচ ও বাজেট. অর্থ বা সময় ব্যয় করার আগে আপনি আরও ভাল বাস্তবায়ন প্রশ্ন জিজ্ঞাসা করতে পারেন।
- টিম এবং ওয়ার্কফ্লো. ভাগ করা বোঝাপড়া সহ দলগুলি আরও ভাল পণ্য, নীতি এবং শেখার সিদ্ধান্ত নেয়।
জন্য সতর্ক
- বিভিন্ন দল একই শব্দটি ভিন্নভাবে ব্যবহার করতে পারে, তাই সুযোগটি আগে থেকেই নির্ধারণ করুন।
- বেঞ্চমার্কগুলি শক্তিশালী দেখাতে পারে যখন বাস্তব-বিশ্বের কর্মক্ষমতা অসম হয়।
- ডেটা গুণমান এবং মূল্যায়ন পরিকল্পনা উপেক্ষা করা প্রায়ই ভঙ্গুর ফলাফল তৈরি করে।
পরবর্তী পদক্ষেপ
- আপনার প্রয়োজনীয় ফলাফলের একটি সরল-ভাষা সংজ্ঞা দিয়ে শুরু করুন।
- পরীক্ষার আগে একটি সাফল্যের মেট্রিক এবং একটি ব্যর্থতার শর্ত বাছুন।
- একটি পালিশ ডেমো সেট নয়, প্রতিনিধি ডেটা সহ একটি ছোট পাইলট চালান৷
- নথি যেখানে স্পষ্টতা এবং স্মরণ সাহায্য করে এবং যেখানে সহজ পদ্ধতিগুলি ভাল।
অন্বেষণ চালিয়ে যান
ফ্রি নিউজলেটার
প্রতিদিনের এআই ব্রিফিং পান
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
Take the Precision and Recall quiz
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is Precision and Recall?
যথার্থতা এবং প্রত্যাহার শ্রেণীবিভাগের মূল্যায়নের জন্য দুটি পরিপূরক মেট্রিক, বিশেষ করে যখন ক্লাস ভারসাম্যহীন হয়। একসাথে তারা প্রকাশ করে যে সরল নির্ভুলতা কী লুকিয়ে রাখে — কত ঘন ঘন একটি মডেলের ইতিবাচক ভবিষ্যদ্বাণী সঠিক হয় এবং এটি আসলে কতগুলি বাস্তব ইতিবাচকতা ধরে।
নির্ভুলতা কোন প্রশ্নের উত্তর দেয়?
যথার্থতা = TP / (TP + FP) মডেলের ইতিবাচক ভবিষ্যদ্বাণীগুলির সঠিকতা পরিমাপ করে — একটি ইতিবাচক পতাকা কতটা বিশ্বস্ত।
On a fixed evaluation set, lowering a positive-class decision threshold usually produces which tradeoff?
Lowering the threshold expands or preserves the predicted-positive set. It may catch additional true positives and additional false positives; changes depend on which items cross the threshold.
Why can precision and recall reveal a weakness hidden by high accuracy on a dataset dominated by negatives?
Accuracy can be dominated by correct negative predictions. Precision and recall examine positive flags and missed positives using TP, FP, and FN.
Six of the top ten search results are relevant. What is precision@10 for that result list?
Precision@10 measures the relevant fraction among the top ten results: 6/10 = 60%.
শিখতে থাকুন
সম্পর্কিত গাইড
এই বিষয়ের জন্য বাছাই করা আরও গাইড