মৌলিক নির্দেশিকা
ROC বক্ররেখা এবং AUC
একটি ROC বক্ররেখা প্লট করে যে কতটা ভালোভাবে একটি শ্রেণীবিভাগকারী প্রতিটি সম্ভাব্য সিদ্ধান্তের থ্রেশহোল্ড জুড়ে দুটি শ্রেণীকে আলাদা করে, এবং AUC সেই পুরো বক্ররেখাটিকে একটি সংখ্যায় সংকুচিত করে।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min
এই পৃষ্ঠায়2 মিনিট পঠিত
ওভারভিউ
Together they tell you ranking quality independent of where you draw the cutoff.
গভীর ডুব
একটি রিসিভার অপারেটিং চারিত্রিক বৈশিষ্ট্য (আরওসি) বক্ররেখা সত্য ইতিবাচক হার (সংবেদনশীলতা, y-অক্ষের উপর) মিথ্যা ইতিবাচক হারের (এক্স-অক্ষে 1 বিয়োগ নির্দিষ্টতা, x-অক্ষে) এর বিপরীতে প্লট করে যখন আপনি শ্রেণীবিন্যাস থ্রেশহোল্ডকে 1 থেকে 0-তে স্লাইড করেন। প্রতিটি থ্রেশহোল্ড একটি পয়েন্ট দেয়; তাদের সংযোগ বক্ররেখা ট্রেস. একটি মডেল যা প্রতিটি ইতিবাচককে প্রতিটি নেতিবাচকের উপরে স্থান দেয় উপরের-বাম কোণে আলিঙ্গন করে। বক্ররেখার অধীনে এলাকা (AUC) এই রেখার নীচের মোট এলাকা পরিমাপ করে, 0.5 (এলোমেলো অনুমান, তির্যক) থেকে 1.0 (নিখুঁত) পর্যন্ত। একটি সহজ ব্যাখ্যা: AUC সম্ভাব্যতার সমান যে মডেলটি এলোমেলোভাবে নির্বাচিত নেতিবাচকের চেয়ে এলোমেলোভাবে নির্বাচিত ইতিবাচক স্কোর করে। শব্দটি দ্বিতীয় বিশ্বযুদ্ধের রাডার অপারেটরদের থেকে এসেছে যা গোলমাল থেকে সংকেতকে আলাদা করে।
বাস্তব-বিশ্ব বাস্তবায়ন
একটি ব্যাঙ্কের AUC দ্বারা দুটি জালিয়াতি-সনাক্তকরণ মডেলের তুলনা করে এমন একটি বেছে নেওয়া যা জালিয়াতিপূর্ণ লেনদেনকে বৈধ লেনদেনের উপরে সেরা স্থান দেয়
একটি রোগের জন্য একটি ডায়াগনস্টিক পরীক্ষার মূল্যায়ন করা (যেমন, একটি ক্যান্সার স্ক্রীনিং ক্লাসিফায়ার) যেখানে রেডিওলজিস্টদের মিথ্যা অ্যালার্মের বিরুদ্ধে আরও বেশি কেস ধরার ব্যবসা করতে হবে
মিথ্যা ইতিবাচক (বৈধ মেইলকে স্প্যাম হিসাবে পতাকাঙ্কিত) খুব কম রাখতে ROC বক্ররেখা ব্যবহার করে একটি স্প্যাম ফিল্টারের থ্রেশহোল্ড টিউন করা
একটি ক্রেডিট-ডিফল্ট স্কোরিং মডেলের মানদণ্ড যেখানে AUC সংক্ষিপ্ত করে যে এটি ঋণগ্রহীতাদের যারা ডিফল্ট তাদের থেকে পরিশোধ করে তাদের কতটা ভালোভাবে আলাদা করে
ROC কার্ভ এবং AUC এর ভবিষ্যত
ROC-AUC একটি ডিফল্ট রিপোর্টিং মেট্রিক রয়ে গেছে, কিন্তু অনুশীলনকারীরা এটিকে ক্রমবর্ধমানভাবে ভারসাম্যহীন ডেটার জন্য যথার্থ-রিকল কার্ভের সাথে যুক্ত করে, যেখানে ROC প্রতারণামূলকভাবে আশাবাদী দেখতে পারে। আংশিক AUC (নিম্ন-মিথ্যা-ইতিবাচক অঞ্চলের উপর ফোকাস করা যা কার্যকরীভাবে গুরুত্বপূর্ণ), খরচ-সংবেদনশীল এবং সিদ্ধান্ত-বক্ররেখা বিশ্লেষণ, এবং পৃষ্ঠের ন্যায্যতার ব্যবধানে প্রতি-সাব-গ্রুপ AUC রিপোর্টিং-এর ব্যাপক গ্রহণের প্রত্যাশা করুন। যেহেতু মডেলগুলি বাস্তব সিদ্ধান্তগুলিকে ফিড করে, ক্রমাঙ্কন মেট্রিক্স এবং AUC ক্রমবর্ধমানভাবে AUC এর পরিবর্তে পাশাপাশি রিপোর্ট করা হবে৷
এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
কেন এটা গুরুত্বপূর্ণ
- সুস্পষ্ট সিদ্ধান্ত. এটি আপনাকে বিপণনের ভাষা থেকে স্পষ্ট প্রযুক্তিগত দাবিগুলি আলাদা করতে সহায়তা করে।
- খরচ ও বাজেট. অর্থ বা সময় ব্যয় করার আগে আপনি আরও ভাল বাস্তবায়ন প্রশ্ন জিজ্ঞাসা করতে পারেন।
- টিম এবং ওয়ার্কফ্লো. ভাগ করা বোঝাপড়া সহ দলগুলি আরও ভাল পণ্য, নীতি এবং শেখার সিদ্ধান্ত নেয়।
জন্য সতর্ক
- বিভিন্ন দল একই শব্দটি ভিন্নভাবে ব্যবহার করতে পারে, তাই সুযোগটি আগে থেকেই নির্ধারণ করুন।
- বেঞ্চমার্কগুলি শক্তিশালী দেখাতে পারে যখন বাস্তব-বিশ্বের কর্মক্ষমতা অসম হয়।
- ডেটা গুণমান এবং মূল্যায়ন পরিকল্পনা উপেক্ষা করা প্রায়ই ভঙ্গুর ফলাফল তৈরি করে।
পরবর্তী পদক্ষেপ
- আপনার প্রয়োজনীয় ফলাফলের একটি সরল-ভাষা সংজ্ঞা দিয়ে শুরু করুন।
- পরীক্ষার আগে একটি সাফল্যের মেট্রিক এবং একটি ব্যর্থতার শর্ত বাছুন।
- একটি পালিশ ডেমো সেট নয়, প্রতিনিধি ডেটা সহ একটি ছোট পাইলট চালান৷
- নথি যেখানে ROC কার্ভ এবং AUC সাহায্য করে এবং যেখানে সহজ পদ্ধতিগুলি ভাল।
অন্বেষণ চালিয়ে যান
ফ্রি নিউজলেটার
প্রতিদিনের এআই ব্রিফিং পান
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
Take the ROC Curves and AUC quiz
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is ROC Curves and AUC?
একটি ROC বক্ররেখা প্লট করে যে কতটা ভালোভাবে একটি শ্রেণীবিভাগকারী প্রতিটি সম্ভাব্য সিদ্ধান্তের থ্রেশহোল্ড জুড়ে দুটি শ্রেণীকে আলাদা করে, এবং AUC সেই পুরো বক্ররেখাটিকে একটি সংখ্যায় সংকুচিত করে। আপনি যেখানে কাটঅফ আঁকেন তার থেকে স্বাধীনভাবে তারা আপনাকে র্যাঙ্কিং গুণমানের কথা বলে।
একটি ROC বক্ররেখা একে অপরের বিরুদ্ধে কোন দুটি পরিমাণে প্লট করে?
একটি ROC বক্ররেখা y-অক্ষে সত্য ইতিবাচক হার (সংবেদনশীলতা) প্লট করে থ্রেশহোল্ড জুড়ে x-অক্ষে মিথ্যা ইতিবাচক হার (1 - নির্দিষ্টতা) এর বিপরীতে।
কোন AUC মান একটি শ্রেণীবিভাগের সাথে মিলে যায় যা এলোমেলো অনুমান করার চেয়ে ভাল কাজ করে না?
একটি এলোমেলো ক্লাসিফায়ার 0.5 এর AUC প্রদান করে, তির্যক রেখাটি চিহ্নিত করে। 1.0-এর একটি AUC নিখুঁত, এবং 0.0 মানে এটি প্রতিটি র্যাঙ্কিং ঠিক পিছনের দিকে পায়।
কেন AUC 'থ্রেশহোল্ড-স্বাধীন' হিসাবে বর্ণনা করা হয়?
AUC সমগ্র ROC বক্ররেখার সংক্ষিপ্ত বিবরণ দেয়, যা প্রতিটি থ্রেশহোল্ড ঝাড়ু দিয়ে তৈরি হয়, তাই এটি কোনো একক নির্বাচিত কাটঅফের উপর নির্ভর করে না।
একটি ভারী ভারসাম্যহীন ডেটাসেটের জন্য, কোন বক্ররেখাটি প্রায়শই ROC এর পাশে বা পরিবর্তে সুপারিশ করা হয় কারণ ROC অত্যধিক আশাবাদী দেখতে পারে?
বিরল-ইতিবাচক সমস্যায় প্রচুর পরিমাণে সত্যিকারের নেতিবাচক মিথ্যা ইতিবাচক হার কম রাখে, ROC কে স্ফীত করে। যথার্থ-রিকল কার্ভগুলি ইতিবাচক শ্রেণীর উপর ফোকাস করে এবং আরও সততার সাথে কর্মক্ষমতা প্রকাশ করে।
Why can a model have a high ROC-AUC but poorly calibrated probability estimates?
The guide notes that AUC depends on rank order and is insensitive to calibration; monotonic transformations can preserve rankings while altering the probability scale.
শিখতে থাকুন
সম্পর্কিত গাইড
এই বিষয়ের জন্য বাছাই করা আরও গাইড