Sztuczna inteligencja w administracji świadczeń rządowych

Agencje świadczeń zajmują się ogromną liczbą spraw przy ograniczonej liczbie personelu, więc automatyzacja jest atrakcyjna. Różnorodność systemów obejmuje silniki reguł, które stosują formuły kwalifikowalności, programy dopasowujące dane, które porównują rekordy w różnych agencjach, aż po modele uczenia maszynowego, które oceniają przypadki pod kątem ryzyka oszustwa. Australijski Robodebt to jedna z najczęściej przytaczanych porażek, a przy tym nie jest to wyrafinowana sztuczna inteligencja. Od 2016 r. w ramach programu łączono roczny dochód urzędu skarbowego z codwutygodniowymi danymi dotyczącymi świadczeń socjalnych i uśredniano roczne dane równomiernie w ciągu dwóch tygodni. Osoby o nieregularnych dochodach, np. pracownicy dorywczy, wydawały się przepłacane, a zawiadomienia o zadłużeniu były wysyłane automatycznie, a odbiorcy musieli je obalić. Rząd przyznał później, że samo uśrednianie nie stanowi zgodnej z prawem podstawy zadłużenia, rozstrzygnął pozew zbiorowy, a Komisja Królewska, która przedstawiła sprawozdanie z 2023 r., zdecydowanie potępiła ten program. W Holandii skandal związany ze świadczeniami na opiekę nad dziećmi spowodował, że organy podatkowe niesłusznie potraktowały dziesiątki tysięcy rodziców jako oszustów i zażądały dużych zwrotów pieniędzy. Częścią problemu był model klasyfikacji ryzyka, w którym jako czynnik ryzyka wykorzystano narodowość, obok surowych zasad „wszystko albo nic”. Rząd podał się do dymisji w styczniu 2021 r. Niezależnie od tego holenderski sąd w 2020 r. wstrzymał SyRI – system łączenia danych na temat oszustw związanych z opieką socjalną, ze względu na prywatność i prawa człowieka. W Stanach Zjednoczonych system MiDAS w stanie Michigan wydał zautomatyzowane ustalenia dotyczące oszustw, które według kontroli stanowej były w większości błędne, a stan Arkansas stanął przed sądem po tym, jak algorytm skrócił godziny opieki domowej dla niepełnosprawnych beneficjentów Medicaid. Wnioski się powtarzają: zautomatyzowane długi odwracają ciężar dowodu; modele oszustw mogą kodować wskaźniki zastępcze dotyczące pochodzenia etnicznego lub ubóstwa; a skala zamienia małe poziomy błędów w masowe szkody. Zabezpieczenia obejmują weryfikację ludzką przed niekorzystnymi decyzjami, powiadomienia wyjaśniające przyczynę, dostępne odwołania, testy stronniczości i publiczne ujawnianie używanych systemów. Unijna ustawa o sztucznej inteligencji klasyfikuje sztuczną inteligencję wykorzystywaną przez organy publiczne do oceny kwalifikowalności do podstawowych świadczeń publicznych jako obarczoną wysokim ryzykiem.