পরবর্তী আপপরবর্তী গাইড
CLIP স্কোর এবং মানুষের পছন্দ মেট্রিক্স
টেকনিক্যাল
প্রযুক্তিগত গাইড
গোষ্ঠী ন্যায্যতা মেট্রিক্স পরিমাপ করে যে কোনও মডেলের সিদ্ধান্ত বা ত্রুটিগুলি জনসংখ্যার গোষ্ঠীগুলিতে আলাদা কিনা।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min
জনসংখ্যাগত সমতা নির্বাচনের হারের তুলনা করে, সমান সুযোগ সত্য ইতিবাচক হারের তুলনা করে, সমান মতভেদ সত্য এবং মিথ্যা উভয় ইতিবাচক হারের তুলনা করে এবং ভবিষ্যদ্বাণীমূলক সমতা নির্ভুলতার তুলনা করে। এই সংজ্ঞাগুলি গুরুত্বপূর্ণ কারণ এগুলি গাণিতিকভাবে বিরোধ করতে পারে, তাই একটি বেছে নেওয়া একটি মূল্য বিচার যা একটি নির্দিষ্ট ব্যবহারের ক্ষেত্রে কোন ধরনের অন্যায় সবচেয়ে গুরুত্বপূর্ণ।
100 জন আবেদনকারীর একটি ঋণ মডেল এবং দুটি গ্রুপ, A এবং B নিন। A-তে, 50 টাকা পরিশোধ করবে; বি, 20 হবে। মডেলটি A-তে 40টি অনুমোদন করে (35 যারা শোধ করবে, 5 যারা করবে না) এবং B তে 20টি (14 যারা শোধ করবে, 6 যারা করবে না)। জনসংখ্যার সমতা নির্বাচনের হারের তুলনা করে: 40% বনাম 20%। 0.5 অনুপাত মার্কিন কর্মসংস্থান নির্দেশিকা থেকে চার-পঞ্চমাংশ (0.8) থ্রেশহোল্ডের নিচে পড়ে, তাই এটি ব্যর্থ হয়। সমান সুযোগ ট্রু পজিটিভ রেট (টিপিআর), অনুমোদিত যোগ্য ব্যক্তিদের ভাগের তুলনা করে: 35/50 = 0.70 এবং 14/20 = 0.70। এটা সন্তুষ্ট হয়. সমান মতভেদ (Hardt, Price and Srebro, 2016) এর জন্যও সমান মিথ্যা পজিটিভ রেট (FPR) প্রয়োজন: 5/50 = 0.10 বনাম 6/80 = 0.075। বন্ধ, কিন্তু সমান নয়। ভবিষ্যদ্বাণীমূলক সমতা নির্ভুলতা, বা ইতিবাচক ভবিষ্যদ্বাণীমূলক মান (PPV): 35/40 = 0.875 বনাম 14/20 = 0.70 তুলনা করে। এটি ব্যর্থ হয়। যখন বেস রেটগুলি ভিন্ন হয়, যেমন এখানে, একটি অপূর্ণ শ্রেণীবিভাগকারী সাধারণত একসাথে একাধিক সংজ্ঞা পূরণ করতে পারে না। Chouldechova (2017) এবং Kleinberg, Mullainathan এবং Raghavan (2016) এর সংস্করণ প্রমাণ করেছেন: অসম বেস রেট সহ, ভবিষ্যদ্বাণীমূলক সমতা বা ক্রমাঙ্কন সমান মিথ্যা ইতিবাচক এবং মিথ্যা নেতিবাচক হারের পাশাপাশি ধরে রাখতে পারে না, নিখুঁত ভবিষ্যদ্বাণীর মতো অধঃপতিত ক্ষেত্রে ছাড়া। COMPAS বিতর্ক ঠিক এই দ্বন্দ্ব ছিল. একটি মেট্রিক নির্বাচন করা প্রসঙ্গের উপর নির্ভর করে। ডেমোগ্রাফিক প্যারিটি এমন ক্ষেত্রে উপযুক্ত যেখানে লেবেলগুলি নিজেরাই পক্ষপাতদুষ্ট হতে পারে বা যেখানে লক্ষ্য সমান অ্যাক্সেস। সমান সুযোগ সেই ক্ষেত্রে উপযুক্ত যেখানে একজন যোগ্য ব্যক্তিকে অনুপস্থিত করাই প্রধান ক্ষতি। সমান মতভেদ মিথ্যা অভিযোগ সম্পর্কে উদ্বেগ যোগ করে। ভবিষ্যদ্বাণীমূলক সমতা বা ক্রমাঙ্কন বিষয়গুলি যখন সিদ্ধান্ত গ্রহণকারীরা একটি সম্ভাব্যতা হিসাবে একটি স্কোর পড়ে। একটি সাধারণ ভুল ধারণা হল যে সুরক্ষিত বৈশিষ্ট্যটি সরানো একটি মডেল ন্যায্য করে তোলে। জিপ কোডের মতো পারস্পরিক সম্পর্কযুক্ত প্রক্সি একই তথ্য বহন করতে পারে।
একটি নিয়োগের স্ক্রিন একটি গ্রুপের আবেদনকারীদের 40% এবং অন্যের 20%কে অগ্রসর করে। 0.5 অনুপাত মার্কিন কর্মসংস্থান বৈষম্য বিশ্লেষণে ব্যবহৃত চার-পঞ্চমাংশ নিয়মের নিচে পড়ে, যা একটি জনসংখ্যাগত সমতা উদ্বেগকে চিহ্নিত করে।
একটি মেডিকেল স্ক্রীনিং মডেল উভয় গ্রুপের 70% সত্যিকারের ক্ষেত্রে ধরা পড়ে। এটি সমান সুযোগকে সন্তুষ্ট করে, যদিও গ্রুপের নির্বাচনের হার ভিন্ন।
ProPublica এর 2016 সালের COMPAS রিসিডিভিজম টুলের বিশ্লেষণে দেখা গেছে কালো আসামীদের মিথ্যা ইতিবাচক হার বেশি ছিল। বিক্রেতা প্রতিক্রিয়া জানিয়েছেন যে তার স্কোরগুলির গোষ্ঠী জুড়ে অনুরূপ ভবিষ্যদ্বাণীমূলক মান রয়েছে। বিরোধটি সরাসরি দ্বন্দ্বে দুটি ন্যায্যতা মেট্রিক দেখিয়েছে।
একজন ডেটা সায়েন্টিস্ট ফেয়ারলার্নের মেট্রিকফ্রেম ব্যবহার করে নির্ভুলতা, সিলেকশন রেট এবং ফলস পজিটিভ রেট গ্রুপ অনুসারে কমিয়ে আনতে। তারপর তিনি গোষ্ঠী-নির্দিষ্ট থ্রেশহোল্ড সেট করতে ThresholdOptimizer প্রয়োগ করেন যা সমান মতভেদ পূরণ করে।
গ্রুপ মেট্রিক্স ক্রমবর্ধমান অডিট এবং প্রবিধান মধ্যে লিখিত হয়. নিউ ইয়র্ক সিটির স্বয়ংক্রিয় কর্মসংস্থান সিদ্ধান্ত সরঞ্জামের আইন, উদাহরণস্বরূপ, পক্ষপাতমূলক নিরীক্ষার প্রয়োজন যা প্রভাব অনুপাতের প্রতিবেদন করে। পৃথক ন্যায্যতা, কার্যকারণ ন্যায্যতা এবং জেনারেটিভ মডেলের ন্যায্যতার উপর গবেষণা চলতে থাকে, যেখানে আউটপুটগুলি হ্যাঁ-বা-না সিদ্ধান্তের পরিবর্তে পাঠ্য হয় এবং মানক মেট্রিক্স সরাসরি প্রযোজ্য হয় না। অসম্ভব ফলাফল গাণিতিক এবং দূরে যাবে না. ভবিষ্যতের অগ্রগতি একটি একক সর্বজনীন মেট্রিকের চেয়ে আরও ভাল লেবেল, কোন ট্রেড-অফগুলি বেছে নেওয়া হয়েছিল এবং কেন এবং স্টেকহোল্ডার ইনপুট থেকে আরও ভাল ডকুমেন্টেশন থেকে আসার সম্ভাবনা বেশি।
ফ্রি নিউজলেটার
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
গোষ্ঠী ন্যায্যতা মেট্রিক্স পরিমাপ করে যে কোনও মডেলের সিদ্ধান্ত বা ত্রুটিগুলি জনসংখ্যার গোষ্ঠীগুলিতে আলাদা কিনা। জনসংখ্যাগত সমতা নির্বাচনের হারের তুলনা করে, সমান সুযোগ সত্য ইতিবাচক হারের তুলনা করে, সমান মতভেদ সত্য এবং মিথ্যা উভয় ইতিবাচক হারের তুলনা করে এবং ভবিষ্যদ্বাণীমূলক সমতা নির্ভুলতার তুলনা করে। এই সংজ্ঞাগুলি গুরুত্বপূর্ণ কারণ এগুলি গাণিতিকভাবে বিরোধ করতে পারে, তাই একটি বেছে নেওয়া একটি মূল্য বিচার যা একটি নির্দিষ্ট ব্যবহারের ক্ষেত্রে কোন ধরনের অন্যায় সবচেয়ে গুরুত্বপূর্ণ।
জনসংখ্যার সমতা নির্বাচনের হারের তুলনা করে। 0.5 এর একটি অনুপাত এটিকে ব্যর্থ করে এবং চার-পঞ্চমাংশ থ্রেশহোল্ডের নীচে পড়ে।
সমান সুযোগ জিজ্ঞাসা করে যে যোগ্য ব্যক্তিরা একই হারে অনুমোদিত হয়, যা প্রকৃত ইতিবাচক হার।
সমতুল্য প্রতিকূলতার জন্য গ্রুপ জুড়ে সমান সত্য ইতিবাচক হার এবং সমান মিথ্যা ইতিবাচক হার উভয়ই প্রয়োজন।
FPR সকল প্রকৃত নেতিবাচক দ্বারা ভাগ করা মিথ্যা ইতিবাচকের সমান। গ্রুপ বি-তে 100 জন আবেদনকারী রয়েছে এবং 20 জন ফেরত দেবে, যার ফলে 80টি প্রকৃত নেতিবাচক রয়েছে।
অসম বেস রেট সহ, এই মানদণ্ডগুলি একটি নিখুঁত ভবিষ্যদ্বাণীর মতো অধঃপতিত ক্ষেত্রে ব্যতীত বিরোধপূর্ণ। COMPAS বিতর্ক অনুশীলনে এই বিরোধ দেখায়।
শিখতে থাকুন
এই বিষয়ের জন্য বাছাই করা আরও গাইড
পরবর্তী আপপরবর্তী গাইড
CLIP স্কোর এবং মানুষের পছন্দ মেট্রিক্স
টেকনিক্যাল