প্রযুক্তিগত গাইড

এআই ফেয়ারনেস মেট্রিক্স: সমান প্রতিকূলতার জন্য জনসংখ্যাগত সমতা

গোষ্ঠী ন্যায্যতা মেট্রিক্স পরিমাপ করে যে কোনও মডেলের সিদ্ধান্ত বা ত্রুটিগুলি জনসংখ্যার গোষ্ঠীগুলিতে আলাদা কিনা।

এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min

এই পৃষ্ঠায়4 মিনিট পড়া
  1. ওভারভিউ
  2. গভীর ডুব
  3. বাস্তব-বিশ্ব বাস্তবায়ন
  4. এআই ফেয়ারনেস মেট্রিক্সের ভবিষ্যৎ: সমতুল্য প্রতিকূলতার জন্য জনসংখ্যাগত সমতা
  5. এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
  6. অন্বেষণ চালিয়ে যান
  7. প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

ওভারভিউ

জনসংখ্যাগত সমতা নির্বাচনের হারের তুলনা করে, সমান সুযোগ সত্য ইতিবাচক হারের তুলনা করে, সমান মতভেদ সত্য এবং মিথ্যা উভয় ইতিবাচক হারের তুলনা করে এবং ভবিষ্যদ্বাণীমূলক সমতা নির্ভুলতার তুলনা করে। এই সংজ্ঞাগুলি গুরুত্বপূর্ণ কারণ এগুলি গাণিতিকভাবে বিরোধ করতে পারে, তাই একটি বেছে নেওয়া একটি মূল্য বিচার যা একটি নির্দিষ্ট ব্যবহারের ক্ষেত্রে কোন ধরনের অন্যায় সবচেয়ে গুরুত্বপূর্ণ।

গভীর ডুব

100 জন আবেদনকারীর একটি ঋণ মডেল এবং দুটি গ্রুপ, A এবং B নিন। A-তে, 50 টাকা পরিশোধ করবে; বি, 20 হবে। মডেলটি A-তে 40টি অনুমোদন করে (35 যারা শোধ করবে, 5 যারা করবে না) এবং B তে 20টি (14 যারা শোধ করবে, 6 যারা করবে না)। জনসংখ্যার সমতা নির্বাচনের হারের তুলনা করে: 40% বনাম 20%। 0.5 অনুপাত মার্কিন কর্মসংস্থান নির্দেশিকা থেকে চার-পঞ্চমাংশ (0.8) থ্রেশহোল্ডের নিচে পড়ে, তাই এটি ব্যর্থ হয়। সমান সুযোগ ট্রু পজিটিভ রেট (টিপিআর), অনুমোদিত যোগ্য ব্যক্তিদের ভাগের তুলনা করে: 35/50 = 0.70 এবং 14/20 = 0.70। এটা সন্তুষ্ট হয়. সমান মতভেদ (Hardt, Price and Srebro, 2016) এর জন্যও সমান মিথ্যা পজিটিভ রেট (FPR) প্রয়োজন: 5/50 = 0.10 বনাম 6/80 = 0.075। বন্ধ, কিন্তু সমান নয়। ভবিষ্যদ্বাণীমূলক সমতা নির্ভুলতা, বা ইতিবাচক ভবিষ্যদ্বাণীমূলক মান (PPV): 35/40 = 0.875 বনাম 14/20 = 0.70 তুলনা করে। এটি ব্যর্থ হয়। যখন বেস রেটগুলি ভিন্ন হয়, যেমন এখানে, একটি অপূর্ণ শ্রেণীবিভাগকারী সাধারণত একসাথে একাধিক সংজ্ঞা পূরণ করতে পারে না। Chouldechova (2017) এবং Kleinberg, Mullainathan এবং Raghavan (2016) এর সংস্করণ প্রমাণ করেছেন: অসম বেস রেট সহ, ভবিষ্যদ্বাণীমূলক সমতা বা ক্রমাঙ্কন সমান মিথ্যা ইতিবাচক এবং মিথ্যা নেতিবাচক হারের পাশাপাশি ধরে রাখতে পারে না, নিখুঁত ভবিষ্যদ্বাণীর মতো অধঃপতিত ক্ষেত্রে ছাড়া। COMPAS বিতর্ক ঠিক এই দ্বন্দ্ব ছিল. একটি মেট্রিক নির্বাচন করা প্রসঙ্গের উপর নির্ভর করে। ডেমোগ্রাফিক প্যারিটি এমন ক্ষেত্রে উপযুক্ত যেখানে লেবেলগুলি নিজেরাই পক্ষপাতদুষ্ট হতে পারে বা যেখানে লক্ষ্য সমান অ্যাক্সেস। সমান সুযোগ সেই ক্ষেত্রে উপযুক্ত যেখানে একজন যোগ্য ব্যক্তিকে অনুপস্থিত করাই প্রধান ক্ষতি। সমান মতভেদ মিথ্যা অভিযোগ সম্পর্কে উদ্বেগ যোগ করে। ভবিষ্যদ্বাণীমূলক সমতা বা ক্রমাঙ্কন বিষয়গুলি যখন সিদ্ধান্ত গ্রহণকারীরা একটি সম্ভাব্যতা হিসাবে একটি স্কোর পড়ে। একটি সাধারণ ভুল ধারণা হল যে সুরক্ষিত বৈশিষ্ট্যটি সরানো একটি মডেল ন্যায্য করে তোলে। জিপ কোডের মতো পারস্পরিক সম্পর্কযুক্ত প্রক্সি একই তথ্য বহন করতে পারে।

বাস্তব-বিশ্ব বাস্তবায়ন

একটি নিয়োগের স্ক্রিন একটি গ্রুপের আবেদনকারীদের 40% এবং অন্যের 20%কে অগ্রসর করে। 0.5 অনুপাত মার্কিন কর্মসংস্থান বৈষম্য বিশ্লেষণে ব্যবহৃত চার-পঞ্চমাংশ নিয়মের নিচে পড়ে, যা একটি জনসংখ্যাগত সমতা উদ্বেগকে চিহ্নিত করে।

একটি মেডিকেল স্ক্রীনিং মডেল উভয় গ্রুপের 70% সত্যিকারের ক্ষেত্রে ধরা পড়ে। এটি সমান সুযোগকে সন্তুষ্ট করে, যদিও গ্রুপের নির্বাচনের হার ভিন্ন।

ProPublica এর 2016 সালের COMPAS রিসিডিভিজম টুলের বিশ্লেষণে দেখা গেছে কালো আসামীদের মিথ্যা ইতিবাচক হার বেশি ছিল। বিক্রেতা প্রতিক্রিয়া জানিয়েছেন যে তার স্কোরগুলির গোষ্ঠী জুড়ে অনুরূপ ভবিষ্যদ্বাণীমূলক মান রয়েছে। বিরোধটি সরাসরি দ্বন্দ্বে দুটি ন্যায্যতা মেট্রিক দেখিয়েছে।

একজন ডেটা সায়েন্টিস্ট ফেয়ারলার্নের মেট্রিকফ্রেম ব্যবহার করে নির্ভুলতা, সিলেকশন রেট এবং ফলস পজিটিভ রেট গ্রুপ অনুসারে কমিয়ে আনতে। তারপর তিনি গোষ্ঠী-নির্দিষ্ট থ্রেশহোল্ড সেট করতে ThresholdOptimizer প্রয়োগ করেন যা সমান মতভেদ পূরণ করে।

এআই ফেয়ারনেস মেট্রিক্সের ভবিষ্যৎ: সমতুল্য প্রতিকূলতার জন্য জনসংখ্যাগত সমতা

গ্রুপ মেট্রিক্স ক্রমবর্ধমান অডিট এবং প্রবিধান মধ্যে লিখিত হয়. নিউ ইয়র্ক সিটির স্বয়ংক্রিয় কর্মসংস্থান সিদ্ধান্ত সরঞ্জামের আইন, উদাহরণস্বরূপ, পক্ষপাতমূলক নিরীক্ষার প্রয়োজন যা প্রভাব অনুপাতের প্রতিবেদন করে। পৃথক ন্যায্যতা, কার্যকারণ ন্যায্যতা এবং জেনারেটিভ মডেলের ন্যায্যতার উপর গবেষণা চলতে থাকে, যেখানে আউটপুটগুলি হ্যাঁ-বা-না সিদ্ধান্তের পরিবর্তে পাঠ্য হয় এবং মানক মেট্রিক্স সরাসরি প্রযোজ্য হয় না। অসম্ভব ফলাফল গাণিতিক এবং দূরে যাবে না. ভবিষ্যতের অগ্রগতি একটি একক সর্বজনীন মেট্রিকের চেয়ে আরও ভাল লেবেল, কোন ট্রেড-অফগুলি বেছে নেওয়া হয়েছিল এবং কেন এবং স্টেকহোল্ডার ইনপুট থেকে আরও ভাল ডকুমেন্টেশন থেকে আসার সম্ভাবনা বেশি।

এটাকে বাস্তবে প্রয়োগ করা হচ্ছে

কেন এটা গুরুত্বপূর্ণ

  • খরচ ও বাজেট. আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
  • সুস্পষ্ট সিদ্ধান্ত. কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
  • মান নিয়ন্ত্রণ. ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।

জন্য সতর্ক

  • একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
  • অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
  • সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।

পরবর্তী পদক্ষেপ

  1. বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
  2. বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
  3. ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
  4. স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।

অন্বেষণ চালিয়ে যান

ফ্রি নিউজলেটার

প্রতিদিনের এআই ব্রিফিং পান

প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।

প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।

নিজেকে পরীক্ষা করুন

Take the AI Fairness Metrics: Demographic Parity to Equalized Odds quiz

প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।

কুইজ শুরু করুন

ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন

প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

এআই ফেয়ারনেস মেট্রিক্স কী: সমতুল্য প্রতিকূলতার জনসংখ্যাগত সমতা?

গোষ্ঠী ন্যায্যতা মেট্রিক্স পরিমাপ করে যে কোনও মডেলের সিদ্ধান্ত বা ত্রুটিগুলি জনসংখ্যার গোষ্ঠীগুলিতে আলাদা কিনা। জনসংখ্যাগত সমতা নির্বাচনের হারের তুলনা করে, সমান সুযোগ সত্য ইতিবাচক হারের তুলনা করে, সমান মতভেদ সত্য এবং মিথ্যা উভয় ইতিবাচক হারের তুলনা করে এবং ভবিষ্যদ্বাণীমূলক সমতা নির্ভুলতার তুলনা করে। এই সংজ্ঞাগুলি গুরুত্বপূর্ণ কারণ এগুলি গাণিতিকভাবে বিরোধ করতে পারে, তাই একটি বেছে নেওয়া একটি মূল্য বিচার যা একটি নির্দিষ্ট ব্যবহারের ক্ষেত্রে কোন ধরনের অন্যায় সবচেয়ে গুরুত্বপূর্ণ।

গাইডের ঋণের উদাহরণে, গ্রুপ A-এর একটি 40% নির্বাচন হার এবং গ্রুপ B-এর একটি 20% নির্বাচন হার রয়েছে। এটি কোন মেট্রিক লঙ্ঘন করে?

জনসংখ্যার সমতা নির্বাচনের হারের তুলনা করে। 0.5 এর একটি অনুপাত এটিকে ব্যর্থ করে এবং চার-পঞ্চমাংশ থ্রেশহোল্ডের নীচে পড়ে।

সমান সুযোগের জন্য কোন পরিমাণটি গ্রুপ জুড়ে সমান হতে হবে?

সমান সুযোগ জিজ্ঞাসা করে যে যোগ্য ব্যক্তিরা একই হারে অনুমোদিত হয়, যা প্রকৃত ইতিবাচক হার।

সমান সুযোগের উপরে সমতাযুক্ত প্রতিকূলতা কী যোগ করে?

সমতুল্য প্রতিকূলতার জন্য গ্রুপ জুড়ে সমান সত্য ইতিবাচক হার এবং সমান মিথ্যা ইতিবাচক হার উভয়ই প্রয়োজন।

উদাহরণে, গ্রুপ B এর মিথ্যা ধনাত্মক হার 80 এর মধ্যে 6। হর 80 কেন?

FPR সকল প্রকৃত নেতিবাচক দ্বারা ভাগ করা মিথ্যা ইতিবাচকের সমান। গ্রুপ বি-তে 100 জন আবেদনকারী রয়েছে এবং 20 জন ফেরত দেবে, যার ফলে 80টি প্রকৃত নেতিবাচক রয়েছে।

Chouldechova এবং Kleinberg et al-এর থেকে অসম্ভবতার ফলাফল কী? বল?

অসম বেস রেট সহ, এই মানদণ্ডগুলি একটি নিখুঁত ভবিষ্যদ্বাণীর মতো অধঃপতিত ক্ষেত্রে ব্যতীত বিরোধপূর্ণ। COMPAS বিতর্ক অনুশীলনে এই বিরোধ দেখায়।

শিখতে থাকুন

সম্পর্কিত গাইড

এই বিষয়ের জন্য বাছাই করা আরও গাইড

একটি বিনামূল্যে AI শংসাপত্র পানএকটি সংক্ষিপ্ত বিনামূল্যে কোর্স এবং পরীক্ষা. কোনো খরচ নেই, কোনো কার্ড নেই। প্রায় 2.5 ঘন্টা।বিনামূল্যে শুরু করুন →