Metryki uczciwości AI: quiz dotyczący parytetu demograficznego i równych szans

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. W przykładzie pożyczki z przewodnika grupa A ma współczynnik selekcji na poziomie 40%, a grupa B – na poziomie 20%. Jakie dane to narusza?
   • Equal opportunity
   • Demographic parity
   • Kalibracja
   • Individual fairness
2. Równość szans wymaga, aby jaka ilość była równa we wszystkich grupach?
   • False positive rate
   • Selection rate
   • True positive rate
   • Positive predictive value
3. Co wyrównane szanse dodają do równych szans?
   • Equal false positive rates
   • Equal selection rates
   • Equal group sizes
   • Equal base rates
4. W tym przykładzie odsetek wyników fałszywie dodatnich w grupie B wynosi 6 z 80. Dlaczego mianownik wynosi 80?
   • It is the number of approved applicants
   • It is the total population of both groups
   • It is 100 minus the 20 approved applicants
   • It is the number of group B applicants who would not repay
5. Co wynika z niemożliwości Chouldechovej i Kleinberga i in. mowić?
   • No model can be accurate for more than one group
   • When base rates differ, an imperfect classifier cannot satisfy predictive parity or calibration together with equal false positive and false negative rates
   • Demographic parity always implies equalized odds
   • Fairness metrics apply only to linear models
6. Why does removing the protected attribute from the inputs not guarantee fairness?
   • Models always add the attribute back automatically
   • Laws require the attribute to be included
   • Correlated proxies such as zip code can carry the same information
   • Removing features always lowers accuracy to zero
7. Which technique chooses group-specific thresholds, sometimes randomized, to equalize true and false positive rates?
   • Hardt et al.'s post-processing, available as Fairlearn's ThresholdOptimizer
   • AIF360 Reweighing
   • Regularyzacja porzucania
   • Analiza głównych składników
8. Why should fairness metrics be reported with confidence intervals and for intersectional subgroups?
   • Because the four-fifths rule requires exactly three decimal places
   • Because intersectional groups always have identical rates
   • Because Fairlearn cannot calculate point estimates
   • Because small groups make rate estimates noisy, and a model can look fair on single attributes while failing a combination of them