ROC বক্ররেখা এবং AUC
একটি ROC বক্ররেখা প্লট করে যে কতটা ভালোভাবে একটি শ্রেণীবিভাগকারী প্রতিটি সম্ভাব্য সিদ্ধান্তের থ্রেশহোল্ড জুড়ে দুটি শ্রেণীকে আলাদা করে, এবং AUC সেই পুরো বক্ররেখাটিকে একটি সংখ্যায় সংকুচিত করে।
ওভারভিউ
Together they tell you ranking quality independent of where you draw the cutoff.
গভীর ডুব
একটি রিসিভার অপারেটিং চারিত্রিক বৈশিষ্ট্য (আরওসি) বক্ররেখা সত্য ইতিবাচক হার (সংবেদনশীলতা, y-অক্ষের উপর) মিথ্যা ইতিবাচক হারের (এক্স-অক্ষে 1 বিয়োগ নির্দিষ্টতা, x-অক্ষে) এর বিপরীতে প্লট করে যখন আপনি শ্রেণীবিন্যাস থ্রেশহোল্ডকে 1 থেকে 0-তে স্লাইড করেন। প্রতিটি থ্রেশহোল্ড একটি পয়েন্ট দেয়; তাদের সংযোগ বক্ররেখা ট্রেস. একটি মডেল যা প্রতিটি ইতিবাচককে প্রতিটি নেতিবাচকের উপরে স্থান দেয় উপরের-বাম কোণে আলিঙ্গন করে। বক্ররেখার অধীনে এলাকা (AUC) এই রেখার নীচের মোট এলাকা পরিমাপ করে, 0.5 (এলোমেলো অনুমান, তির্যক) থেকে 1.0 (নিখুঁত) পর্যন্ত। একটি সহজ ব্যাখ্যা: AUC সম্ভাব্যতার সমান যে মডেলটি এলোমেলোভাবে নির্বাচিত নেতিবাচকের চেয়ে এলোমেলোভাবে নির্বাচিত ইতিবাচক স্কোর করে। শব্দটি দ্বিতীয় বিশ্বযুদ্ধের রাডার অপারেটরদের থেকে এসেছে যা গোলমাল থেকে সংকেতকে আলাদা করে।
প্রযুক্তিগত অন্তর্দৃষ্টি
AUC থ্রেশহোল্ড-স্বাধীন কারণ এটি সমস্ত কাটঅফের উপর পারফরম্যান্সকে একীভূত করে, তাই আপনি যেখানে সিদ্ধান্তের সীমানা সেট করেছেন তাতে এটি প্রভাবিত হয় না। এটি গাণিতিকভাবে মান-হুইটনি ইউ পরিসংখ্যান এবং উইলকক্সন র্যাঙ্ক-সম পরীক্ষার সমতুল্য, যার অর্থ এটি শুধুমাত্র ভবিষ্যদ্বাণীকৃত স্কোরগুলির ক্রমক্রমের উপর নির্ভর করে, তাদের পরম মান নয়। এটি একঘেয়ে স্কোর রূপান্তরের অধীনে এটিকে স্থিতিশীল করে তোলে তবে ক্রমাঙ্কনের প্রতিও সংবেদনশীল নয়: একটি ভাল র্যাঙ্কযুক্ত কিন্তু খারাপভাবে ক্যালিব্রেট করা মডেল এখনও একটি উচ্চ AUC স্কোর করতে পারে।
কৌশলগত প্রভাব
সুস্পষ্ট সিদ্ধান্ত
এটি আপনাকে বিপণনের ভাষা থেকে স্পষ্ট প্রযুক্তিগত দাবিগুলি আলাদা করতে সহায়তা করে।
খরচ ও বাজেট
অর্থ বা সময় ব্যয় করার আগে আপনি আরও ভাল বাস্তবায়ন প্রশ্ন জিজ্ঞাসা করতে পারেন।
টিম এবং ওয়ার্কফ্লো
ভাগ করা বোঝাপড়া সহ দলগুলি আরও ভাল পণ্য, নীতি এবং শেখার সিদ্ধান্ত নেয়।
ROC কার্ভ এবং AUC এর ভবিষ্যত
ROC-AUC একটি ডিফল্ট রিপোর্টিং মেট্রিক রয়ে গেছে, কিন্তু অনুশীলনকারীরা এটিকে ক্রমবর্ধমানভাবে ভারসাম্যহীন ডেটার জন্য যথার্থ-রিকল কার্ভের সাথে যুক্ত করে, যেখানে ROC প্রতারণামূলকভাবে আশাবাদী দেখতে পারে। আংশিক AUC (নিম্ন-মিথ্যা-ইতিবাচক অঞ্চলের উপর ফোকাস করা যা কার্যকরীভাবে গুরুত্বপূর্ণ), খরচ-সংবেদনশীল এবং সিদ্ধান্ত-বক্ররেখা বিশ্লেষণ, এবং পৃষ্ঠের ন্যায্যতার ব্যবধানে প্রতি-সাব-গ্রুপ AUC রিপোর্টিং-এর ব্যাপক গ্রহণের প্রত্যাশা করুন। যেহেতু মডেলগুলি বাস্তব সিদ্ধান্তগুলিকে ফিড করে, ক্রমাঙ্কন মেট্রিক্স এবং AUC ক্রমবর্ধমানভাবে AUC এর পরিবর্তে পাশাপাশি রিপোর্ট করা হবে৷
বাস্তব-বিশ্ব বাস্তবায়ন
একটি ব্যাঙ্কের AUC দ্বারা দুটি জালিয়াতি-সনাক্তকরণ মডেলের তুলনা করে এমন একটি বেছে নেওয়া যা জালিয়াতিপূর্ণ লেনদেনকে বৈধ লেনদেনের উপরে সেরা স্থান দেয়
একটি রোগের জন্য একটি ডায়াগনস্টিক পরীক্ষার মূল্যায়ন করা (যেমন, একটি ক্যান্সার স্ক্রীনিং ক্লাসিফায়ার) যেখানে রেডিওলজিস্টদের মিথ্যা অ্যালার্মের বিরুদ্ধে আরও বেশি কেস ধরার ব্যবসা করতে হবে
মিথ্যা ইতিবাচক (বৈধ মেইলকে স্প্যাম হিসাবে পতাকাঙ্কিত) খুব কম রাখতে ROC বক্ররেখা ব্যবহার করে একটি স্প্যাম ফিল্টারের থ্রেশহোল্ড টিউন করা
একটি ক্রেডিট-ডিফল্ট স্কোরিং মডেলের মানদণ্ড যেখানে AUC সংক্ষিপ্ত করে যে এটি ঋণগ্রহীতাদের যারা ডিফল্ট তাদের থেকে পরিশোধ করে তাদের কতটা ভালোভাবে আলাদা করে
ঝুঁকি এবং প্রহরী
বিভিন্ন দল একই শব্দটি ভিন্নভাবে ব্যবহার করতে পারে, তাই সুযোগটি আগে থেকেই নির্ধারণ করুন।
বেঞ্চমার্কগুলি শক্তিশালী দেখাতে পারে যখন বাস্তব-বিশ্বের কর্মক্ষমতা অসম হয়।
ডেটা গুণমান এবং মূল্যায়ন পরিকল্পনা উপেক্ষা করা প্রায়ই ভঙ্গুর ফলাফল তৈরি করে।
বাস্তবায়ন রোডম্যাপ
আপনার প্রয়োজনীয় ফলাফলের একটি সরল-ভাষা সংজ্ঞা দিয়ে শুরু করুন।
পরীক্ষার আগে একটি সাফল্যের মেট্রিক এবং একটি ব্যর্থতার শর্ত বাছুন।
একটি পালিশ ডেমো সেট নয়, প্রতিনিধি ডেটা সহ একটি ছোট পাইলট চালান৷
নথি যেখানে ROC কার্ভ এবং AUC সাহায্য করে এবং যেখানে সহজ পদ্ধতিগুলি ভাল।
অন্বেষণ চালিয়ে যান
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ROC Curves and AUC quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
পরবর্তী গাইড
বায়াস-ভ্যারিয়েন্স ট্রেডঅফ
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is ROC Curves and AUC?
একটি ROC বক্ররেখা প্লট করে যে কতটা ভালোভাবে একটি শ্রেণীবিভাগকারী প্রতিটি সম্ভাব্য সিদ্ধান্তের থ্রেশহোল্ড জুড়ে দুটি শ্রেণীকে আলাদা করে, এবং AUC সেই পুরো বক্ররেখাটিকে একটি সংখ্যায় সংকুচিত করে। আপনি যেখানে কাটঅফ আঁকেন তার থেকে স্বাধীনভাবে তারা আপনাকে র্যাঙ্কিং গুণমানের কথা বলে।
একটি ROC বক্ররেখা একে অপরের বিরুদ্ধে কোন দুটি পরিমাণে প্লট করে?
একটি ROC বক্ররেখা y-অক্ষে সত্য ইতিবাচক হার (সংবেদনশীলতা) প্লট করে থ্রেশহোল্ড জুড়ে x-অক্ষে মিথ্যা ইতিবাচক হার (1 - নির্দিষ্টতা) এর বিপরীতে।
কোন AUC মান একটি শ্রেণীবিভাগের সাথে মিলে যায় যা এলোমেলো অনুমান করার চেয়ে ভাল কাজ করে না?
একটি এলোমেলো ক্লাসিফায়ার 0.5 এর AUC প্রদান করে, তির্যক রেখাটি চিহ্নিত করে। 1.0-এর একটি AUC নিখুঁত, এবং 0.0 মানে এটি প্রতিটি র্যাঙ্কিং ঠিক পিছনের দিকে পায়।
কেন AUC 'থ্রেশহোল্ড-স্বাধীন' হিসাবে বর্ণনা করা হয়?
AUC সমগ্র ROC বক্ররেখার সংক্ষিপ্ত বিবরণ দেয়, যা প্রতিটি থ্রেশহোল্ড ঝাড়ু দিয়ে তৈরি হয়, তাই এটি কোনো একক নির্বাচিত কাটঅফের উপর নির্ভর করে না।
একটি ভারী ভারসাম্যহীন ডেটাসেটের জন্য, কোন বক্ররেখাটি প্রায়শই ROC এর পাশে বা পরিবর্তে সুপারিশ করা হয় কারণ ROC অত্যধিক আশাবাদী দেখতে পারে?
বিরল-ইতিবাচক সমস্যায় প্রচুর পরিমাণে সত্যিকারের নেতিবাচক মিথ্যা ইতিবাচক হার কম রাখে, ROC কে স্ফীত করে। যথার্থ-রিকল কার্ভগুলি ইতিবাচক শ্রেণীর উপর ফোকাস করে এবং আরও সততার সাথে কর্মক্ষমতা প্রকাশ করে।