DalšíDalší průvodce
Automatizovaný dluhový skandál v Austrálii
Společnost
PRŮVODCE společností
Skandál s nizozemským algoritmem péče o děti
Nizozemský skandál s příspěvky na péči o děti, známý jako toeslagenaffaire, je případ, kdy nizozemská daňová a celní správa nesprávně nakládala s desítkami tisíc rodičů jako s podvodníky a požadovala, aby jim vrátili příspěvky na péči o děti.
Na této stránce4 min čtení
Přehled
Proces byl částečně řízen modelem hodnocení rizik, který jako faktor využíval nizozemskou národnost. Ukázalo se, jak automatizovaný výběr rizik v kombinaci s tvrdými pravidly a žádným prostorem pro lidskou diskrétnost může způsobit masové škody, a vedl k rezignaci nizozemské vlády v lednu 2021.
Hluboký ponor
Nizozemské rodiny mohou obdržet příspěvek na péči o děti (kinderopvangtoeslag), aby vyrovnaly náklady na péči o děti. Na začátku roku 2010, po zveřejněných podvodech ze strany některých agentur péče o děti, zaujala daňová a celní správa přísný přístup proti podvodům. Malé administrativní chyby by mohly vést k vrácení celého příspěvku. Rodičům, kteří byli označeni za úmyslně nebo z hrubé nedbalosti, byla platba odmítnuta. Mnoho rodin zůstalo s dluhy v řádu desítek tisíc eur, ztratilo domov a práci a vidělo, jak se jejich rodinné životy rozpadly. Některé ze souborů vybraných ke kontrole pocházejí z modelu klasifikace rizik, který skóroval žádosti. Zpráva Amnesty International z roku 2021 „Xenofobní stroje“ jej popsala jako model samoučení a poznamenala, že nenizozemská národnost byla jedním z jejích rizikových indikátorů. V roce 2020 nizozemský úřad pro ochranu údajů dospěl k závěru, že zpracování údajů o státní příslušnosti a dvojí státní příslušnosti správou bylo nezákonné a diskriminační, a později daňové správě udělil pokutu. Vyšetřovatelé také našli samostatnou interní černou listinu, zařízení pro signalizaci podvodů, které úřad rovněž posvětil. Parlamentní vyšetřování zveřejnilo svou zprávu „Bezprecedentní nespravedlnost“ v prosinci 2020. Zjistilo, že byly porušeny základní principy právního státu. Kabinet premiéra Marka Rutteho rezignoval v lednu 2021. Vláda zavedla systém odškodnění, který zahrnoval základní platbu pro uznané oběti, ale zpracování žádostí bylo pomalé. Obvyklá mylná představa je, že skandál způsobil samotný algoritmus. Model vybíral případy, ale škody pocházely z celého systému: pravidla vymáhání vše nebo nic, domněnka podvodu, mlčenlivost, slabá odvolání a úředníci, kteří nezpochybňovali výstupy modelu. Další mylnou představou je, že by stačilo odstranit národnost z modelu. Hlubším selháním byl nedostatek proporcionality a odpovědnosti. Skandál je široce citován v debatách o zákonu EU o umělé inteligenci, který klasifikuje umělou inteligenci používanou k posouzení způsobilosti pro veřejné výhody jako vysoce rizikovou.
Strategický dopad
Riziko a bezpečnost
Katastrofické a každodenní škody AI závisí na tom, kdo rozumí rizikům a kdo může jednat.
Jasnější rozhodnutí
Veřejná a odborná gramotnost určuje, zda je silná bezpečnostní politika politicky možná.
Prorážením humbuku
Jasná vysvětlení snižují zachytávání humbukem, PR v laboratoři a vágní etické divadlo.
Budoucnost holandského skandálu s výhodami péče o děti
Kompenzace a vymáhání pro postižené rodiny stále probíhají a nizozemské instituce přidaly opatření, jako je veřejný registr algoritmů. Zákon EU o umělé inteligenci klasifikuje systémy nároku na dávky jako vysoce rizikové a tyto povinnosti se postupně zavádějí. S ohledem na tento případ je také často diskutován jeho zákaz sociálního bodování. Jak moc tato pravidla změní praxi veřejného sektoru, bude záviset na prosazování, kapacitě auditu a na tom, zda agentury zveřejňují smysluplnou dokumentaci. Případ ukazuje, že ochranná opatření kolem modelu, včetně proporcionálních pravidel, transparentnosti a skutečných způsobů odvolání, jsou důležitá stejně jako model samotný.
Real-World Implementace
Rodič, který udělal malou chybu v papírování, byl označen, označen za úmyslné jednání nebo hrubou nedbalost a bylo mu nařízeno splácet roky příspěvku na péči o dítě bez ujednání o platbě.
Žádost s dvojím státním příslušníkem získala vyšší skóre rizika než podobná žádost od nizozemského občana, protože nenizozemská státní příslušnost byla jedním z rizikových indikátorů modelu.
Sociální agentura, která navrhuje model odhalování podvodů, nyní čelí vysoce rizikovým požadavkům zákona EU o AI na systémy, které posuzují způsobilost pro veřejné výhody, včetně řízení rizik, dokumentace a lidského dohledu.
Úředník pro ochranu údajů zkontroluje, zda model veřejného sektoru používá státní příslušnost, etnický původ nebo proxy, jako je PSČ, poté, co nizozemský úřad pro ochranu údajů zjistil, že použití údajů o národnosti daňovým úřadem bylo nezákonné a diskriminační.
Rizika a zábradlí
Zacházení s existenčním rizikem jako sci-fi, zatímco schopnosti kombinují.
Matoucí bezpečnost povrchových produktů se zarovnáním pod vysokou autonomií.
Neanglické a neodborné publikum ponechává pouze nekvalitní zdroje.
Plán implementace
Oddělte rizika poškození produktu, nesprávného použití a ztráty kontroly/nesouladu.
Zeptejte se, jaké důkazy by změnily váš pohled na časové osy a závažnost.
Upřednostňujte primární zdroje a konkrétní hodnocení před marketingovými tvrzeními.
Identifikujte jednu akční cestu: kariéru, politiku, financování nebo dovednosti – nejen povědomí.
Pokračujte v objevování
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the The Dutch Childcare Benefits Algorithm Scandal quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Často kladené otázky
Co je nizozemský skandál s výhodami péče o děti?
Nizozemský skandál s příspěvky na péči o děti, známý jako toeslagenaffaire, je případ, kdy nizozemská daňová a celní správa nesprávně nakládala s desítkami tisíc rodičů jako s podvodníky a požadovala, aby jim vrátili příspěvky na péči o děti. Proces byl částečně řízen modelem hodnocení rizik, který jako faktor využíval nizozemskou národnost. Ukázalo se, jak automatizovaný výběr rizik v kombinaci s tvrdými pravidly a žádným prostorem pro lidskou diskrétnost může způsobit masové škody, a vedl k rezignaci nizozemské vlády v lednu 2021.
Jaký faktor použil model klasifikace rizik daňové správy, který byl shledán jako diskriminační?
Amnesty International uvedla, že ukazatelem rizika je nenizozemská národnost a nizozemský úřad pro ochranu údajů shledal zpracování údajů o národnosti nezákonné a diskriminační.
K čemu dospěl nizozemský úřad pro ochranu údajů v roce 2020?
Úřad shledal zpracování nezákonným a diskriminačním a posléze udělil daňové správě pokutu.
Co se stalo rodičům označeným za úmyslné jednání nebo hrubou nedbalost?
Toto označení vyřadilo rodiny z platebních podmínek, a proto by se malé chyby mohly změnit v drtivé dluhy.
Jaký byl název parlamentní vyšetřovací zprávy z prosince 2020?
„Bezprecedentní nespravedlnost“ byla parlamentní zpráva. "Xenofobní stroje" byla zpráva Amnesty a zařízení pro signalizaci podvodů bylo interní černou listinou.
Jaké politické důsledky po skandálu následovaly?
Rutteho kabinet odstoupil v lednu 2021, týdny po zprávě z parlamentního vyšetřování.
Učte se dál
Související průvodci
Pro toto téma bylo vybráno více průvodců