DalšíDalší průvodce
Skandál s nizozemským algoritmem péče o děti
Společnost
PRŮVODCE odvětvími
Umělá inteligence ve správě státních dávek odkazuje na automatizované a algoritmické systémy, které agentury používají ke kontrole způsobilosti, výpočtu plateb a označování možných podvodů nebo přeplatků v programech, jako je sociální podpora, podpora v nezaměstnanosti a invalidita.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Je to důležité, protože tato rozhodnutí ovlivňují příjem a bydlení lidí a několik významných selhání ukázalo, že chyby ve velkém měřítku mohou poškodit stovky tisíc lidí.
Dávkové agentury zpracovávají obrovské množství případů s omezeným počtem zaměstnanců, takže automatizace je atraktivní. Systémy sahají od modulů pravidel, které aplikují vzorce způsobilosti, přes programy pro porovnávání dat, které porovnávají záznamy mezi agenturami, až po modely strojového učení, které hodnotí případy rizika podvodu. Australský Robodebt je jedním z nejcitovanějších selhání a nebyla to sofistikovaná umělá inteligence. Od roku 2016 systém porovnával roční příjem daňových úřadů se čtrnáctidenními záznamy o sociálním zabezpečení a průměroval roční hodnotu rovnoměrně za čtrnáct dní. Lidé s nepravidelnými výdělky, jako jsou příležitostní pracovníci, se zdáli být přeplácaní a oznámení o dluzích chodila automaticky, přičemž příjemci je nechali vyvracet. Vláda později připustila, že samotné zprůměrování nebylo zákonným základem pro dluhy, urovnala hromadnou žalobu a Královská komise, která v roce 2023 informovala o tomto schématu, důrazně odsoudila. V Nizozemsku se kvůli skandálu s dávkami na péči o děti daňový úřad nesprávně choval k desítkám tisíc rodičů jako k podvodníkům a požadoval vysoké splátky. Součástí problému byl model klasifikace rizik, který jako rizikový faktor používal národnost, spolu s přísnými pravidly vše nebo nic. Kabinet rezignoval v lednu 2021. Nizozemský soud v roce 2020 samostatně zastavil SyRI, systém propojování údajů o podvodech v sociálních podmínkách, z důvodů ochrany soukromí a lidských práv. Ve Spojených státech vydal Michiganský systém MiDAS automatizovaná zjištění o podvodech, která státní kontrola zjistila, byla většinou chybná, a Arkansas čelil soudnímu sporu poté, co algoritmus zkrátil hodiny domácí péče pro postižené příjemce Medicaid. Lekce se opakují: automatizované dluhy obracejí důkazní břemeno; podvodné modely mohou zakódovat zástupce pro etnický původ nebo chudobu; a rozsah mění malé chybovosti v hromadné škody. Záruky zahrnují kontrolu člověkem před nepříznivými rozhodnutími, upozornění vysvětlující důvod, dostupná odvolání, testování zkreslení a veřejné zveřejnění používaných systémů. Zákon EU o umělé inteligenci klasifikuje umělou inteligenci používanou veřejnými orgány k posouzení způsobilosti pro základní veřejné výhody jako vysoce rizikovou.
Australský program Robodebt zprůměroval roční příjem daňových úřadů v průběhu čtrnácti dnů a automaticky vystavil dluhová oznámení příjemcům sociálních dávek, z nichž mnozí nic nedlužili.
Hodnocení rizik v oblasti péče o děti nizozemského daňového úřadu, které používalo národnost jako rizikový faktor, přispělo k tomu, že s desítkami tisíc rodin bylo nesprávně zacházeno jako s podvodníky.
Michiganský systém nezaměstnanosti MiDAS automaticky vydával zjištění o podvodech s vysokými sankcemi a státní přezkum zjistil, že většina rozhodnutí, která zkoumal, byla nesprávná.
Dávková agentura používá model pouze k tomu, aby rozhodla, které aplikace zkontrolují pracovníci jako první, bez automatického zamítnutí, a zveřejní svá kritéria a chybovost.
Vlády budou nadále automatizovat práci s výhodami, protože přetížení případů a nedostatek zaměstnanců je skutečný a generativní umělá inteligence se testuje pro úkoly, jako je sumarizace souborů případů a zodpovězení otázek žadatelů. Poučení z Robodebtu a nizozemského skandálu posunulo některé jurisdikce k algoritmickým registrům, hodnocení dopadů a přísnějším požadavkům na kontrolu člověkem a zákon EU o AI přidává povinnosti pro vysoce rizikové veřejné použití. Zda tato ochranná opatření fungují v praxi, závisí na financování pracovníků zabývajících se případem a odvoláních, nezávislých auditech a na tom, zda dotčení lidé mohou skutečně vidět a zpochybnit údaje o nich používané.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Umělá inteligence ve správě státních dávek odkazuje na automatizované a algoritmické systémy, které agentury používají ke kontrole způsobilosti, výpočtu plateb a označování možných podvodů nebo přeplatků v programech, jako je sociální podpora, podpora v nezaměstnanosti a invalidita. Je to důležité, protože tato rozhodnutí ovlivňují příjem a bydlení lidí a několik významných selhání ukázalo, že chyby ve velkém měřítku mohou poškodit stovky tisíc lidí.
Průměrný roční příjem za čtrnáct dní způsobil, že lidé s nepravidelnými výdělky vypadali přeplácaní, i když často nebyli.
Robodebt ukazuje, že jednoduchá automatizovaná pravidla mohou způsobit hromadné škody bez jakéhokoli strojového učení.
Použití státní příslušnosti jako rizikového faktoru přispělo k diskriminačnímu zacílení ve skandálu s dávkami na péči o děti.
Kabinet rezignoval v lednu 2021 poté, co se objasnil rozsah neoprávněných obvinění z podvodu.
Nizozemský soud zastavil SyRI, systém propojování údajů o podvodech v sociálních podmínkách, s tím, že porušuje práva na soukromí.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Skandál s nizozemským algoritmem péče o děti
Společnost