NastępnyNastępny poradnik
Wynik CLIP i wskaźniki preferencji ludzkich
Techniczne
PRZEWODNIK techniczny
Metryki uczciwości AI: parytet demograficzny do wyrównanych szans
Metryki sprawiedliwości grupowej mierzą, czy decyzje lub błędy modelu różnią się w poszczególnych grupach demograficznych.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~3 min
Na tej stronie4 minuty czytania
Przegląd
Parytet demograficzny porównuje współczynniki selekcji, równość szans porównuje współczynniki prawdziwie pozytywne, wyrównane szanse porównują współczynniki zarówno prawdziwie, jak i fałszywie pozytywne, a parytet predykcyjny porównuje precyzję. Definicje te mają znaczenie, ponieważ mogą być sprzeczne matematycznie, więc wybór jednej z nich jest oceną wartościującą dotyczącą tego, który rodzaj nieuczciwości ma największe znaczenie w konkretnym przypadku użycia.
Głębokie nurkowanie
Weź model pożyczki i dwie grupy, A i B, po 100 wnioskodawców każda. W A spłaciłoby 50; w B, 20 by. Model zatwierdza 40 w A (35, które spłaci, 5, które nie) i 20 w B (14, które spłaci, 6, które nie). Parytet demograficzny porównuje wskaźniki selekcji: 40% w porównaniu z 20%. Współczynnik 0,5 jest niższy od progu czterech piątych (0,8) określonego w amerykańskich wytycznych dotyczących zatrudnienia, a więc nie. Równość szans porównuje prawdziwie pozytywne wskaźniki (TPR), udział zatwierdzonych osób wykwalifikowanych: 35/50 = 0,70 i 14/20 = 0,70. Jest zadowolony. Wyrównane szanse (Hardt, Price i Srebro, 2016) wymagają również równych współczynników wyników fałszywie dodatnich (FPR): 5/50 = 0,10 w porównaniu z 6/80 = 0,075. Blisko, ale nie równo. Parzystość predykcyjna porównuje precyzję lub dodatnią wartość predykcyjną (PPV): 35/40 = 0,875 w porównaniu z 14/20 = 0,70. To się nie udaje. Kiedy stawki podstawowe różnią się, jak w tym przypadku, niedoskonały klasyfikator na ogół nie może spełniać kilku definicji jednocześnie. Chouldechova (2017) i Kleinberg, Mullainathan i Raghavan (2016) udowodnili różne wersje tego zjawiska: przy nierównych stawkach bazowych, parytet predykcyjny lub kalibracja nie mogą występować w przypadku równych współczynników fałszywie dodatnich i fałszywie ujemnych, z wyjątkiem przypadków zdegenerowanych, takich jak doskonałe przewidywanie. Debata COMPAS była właśnie tym konfliktem. Wybór metryki zależy od kontekstu. Parytet demograficzny sprawdza się w przypadkach, gdy same etykiety mogą być stronnicze lub gdy celem jest równy dostęp. Równość szans sprawdza się w przypadkach, gdy główną krzywdą jest brak wykwalifikowanej osoby. Wyrównane szanse zwiększają obawę przed fałszywymi oskarżeniami. Parytet predykcyjny lub kalibracja mają znaczenie, gdy decydenci odczytują wynik jako prawdopodobieństwo. Powszechnym błędnym przekonaniem jest to, że usunięcie chronionego atrybutu czyni model sprawiedliwym. Skorelowane proxy, takie jak kod pocztowy, mogą zawierać te same informacje.
Implementacja w świecie rzeczywistym
Ekran rekrutacji zapewnia awans 40% kandydatów z jednej grupy i 20% z drugiej. Współczynnik 0,5 jest niższy od praktycznej zasady czterech piątych stosowanej w analizie dyskryminacji w zatrudnieniu w USA, która wskazuje na obawę dotyczącą parytetu demograficznego.
Model badań przesiewowych wychwytuje 70% prawdziwych przypadków w obu grupach. Zapewnia równość szans, mimo że wskaźniki selekcji w grupach są różne.
Analiza narzędzia do recydywy COMPAS przeprowadzona przez ProPublica w 2016 r. wykazała, że wśród oskarżonych rasy czarnej częściej występowały przypadki fałszywych trafień. Dostawca odpowiedział, że jego wyniki mają podobną wartość predykcyjną we wszystkich grupach. Spór pokazał, że dwa mierniki sprawiedliwości są w bezpośrednim konflikcie.
Analityk danych wykorzystuje ramkę MetricFrame firmy Fairlearn do sprawdzania dokładności, współczynnika selekcji i współczynnika wyników fałszywie dodatnich w poszczególnych grupach. Następnie stosuje ThresholdOptimizer, aby ustawić progi specyficzne dla grupy, które spełniają wyrównane szanse.
Przyszłość wskaźników uczciwości sztucznej inteligencji: parytet demograficzny do wyrównanych szans
Wskaźniki grupowe są coraz częściej uwzględniane w audytach i regulacjach. Na przykład prawo miasta Nowy Jork dotyczące narzędzi do zautomatyzowanego podejmowania decyzji o zatrudnieniu wymaga audytów stronniczości, które raportują współczynniki wpływu. Kontynuowane są badania nad sprawiedliwością indywidualną, sprawiedliwością przyczynową i sprawiedliwością w modelach generatywnych, w których wynikami są teksty, a nie decyzje typu „tak” lub „nie”, a standardowe wskaźniki nie mają bezpośredniego zastosowania. Wyniki niemożliwości są matematyczne i nie znikną. Jest bardziej prawdopodobne, że przyszły postęp będzie wynikał z lepszych etykiet, lepszej dokumentacji tego, które kompromisy zostały wybrane i dlaczego, oraz wkładu interesariuszy, a nie z jednego uniwersalnego wskaźnika.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Koszt i budżet. Decyzje dotyczące architektury wpływają na wydajność i koszty operacyjne przez lata.
- Jaśniejsze decyzje. Edukacja techniczna pomaga zespołom wybrać odpowiedni stos, a nie tylko najnowszy.
- Kontrola jakości. Lepsze wybory inżynieryjne zmniejszają liczbę incydentów związanych z niezawodnością w produkcji.
Uważaj na
- Optymalizacja jednego testu porównawczego może ukryć szersze słabości systemu.
- Koszty infrastruktury i utrzymania są często niedoszacowane.
- W miarę jak systemy stają się coraz bardziej złożone, luki w bezpieczeństwie i obserwowalności mogą się zwiększać.
Kolejne kroki
- Przed wdrożeniem zdefiniuj docelowe opóźnienia, jakość i koszty.
- Test porównawczy w realistycznych warunkach obciążenia i danych.
- Monitorowanie przyrządu pod kątem błędów, dryftu i wpływu użytkownika.
- Przed skalowaniem przygotuj ścieżki wycofywania zmian i reakcji na incydenty.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the AI Fairness Metrics: Demographic Parity to Equalized Odds quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Co to są wskaźniki uczciwości sztucznej inteligencji: parytet demograficzny w stosunku do równych szans?
Metryki sprawiedliwości grupowej mierzą, czy decyzje lub błędy modelu różnią się w poszczególnych grupach demograficznych. Parytet demograficzny porównuje współczynniki selekcji, równość szans porównuje współczynniki prawdziwie pozytywne, wyrównane szanse porównują współczynniki zarówno prawdziwie, jak i fałszywie pozytywne, a parytet predykcyjny porównuje precyzję. Definicje te mają znaczenie, ponieważ mogą być sprzeczne matematycznie, więc wybór jednej z nich jest oceną wartościującą dotyczącą tego, który rodzaj nieuczciwości ma największe znaczenie w konkretnym przypadku użycia.
W przykładzie pożyczki z przewodnika grupa A ma współczynnik selekcji na poziomie 40%, a grupa B – na poziomie 20%. Jakie dane to narusza?
Parytet demograficzny porównuje wskaźniki selekcji. Stosunek 0,5 nie spełnia tego warunku i spada poniżej progu czterech piątych.
Równość szans wymaga, aby jaka ilość była równa we wszystkich grupach?
Równość szans wymaga, aby wykwalifikowane osoby były zatwierdzane w tym samym tempie, co jest prawdziwie dodatnim wskaźnikiem.
Co wyrównane szanse dodają do równych szans?
Wyrównane szanse wymagają równych wskaźników prawdziwie pozytywnych i równych wskaźników fałszywie pozytywnych we wszystkich grupach.
W tym przykładzie odsetek wyników fałszywie dodatnich w grupie B wynosi 6 z 80. Dlaczego mianownik wynosi 80?
FPR równa się wynikom fałszywie dodatnim podzielonym przez wszystkie rzeczywiste wartości ujemne. Grupa B ma 100 kandydatów, a 20 z nich spłaci, co daje 80 faktycznych negatywów.
Co wynika z niemożliwości Chouldechovej i Kleinberga i in. mowić?
W przypadku nierównych stawek podstawowych kryteria te są sprzeczne, z wyjątkiem przypadków zdegenerowanych, takich jak doskonały predyktor. Debata COMPAS pokazała ten konflikt w praktyce.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat