LegközelebbKövetkező útmutató
Michigan MiDAS munkanélküliségi algoritmus botránya
Társadalom
Társadalom ÚTMUTATÓ
A holland gyermekgondozási támogatási botrány, más néven toeslagenaffaire, az az eset, amely során a holland adó- és vámhatóság tízezernyi szülőt kezelt tévesen csalóként, és követelte tőlük a gyermekgondozási támogatás visszafizetését.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
A folyamatot részben egy olyan kockázatértékelő modell irányította, amely a holland állampolgárságot használta tényezőként. Az eset megmutatta, hogyan okozhat tömeges károkat az automatizált kockázatkiválasztás, kemény szabályokkal és az emberi mérlegelés hiányával párosulva, ami 2021 januárjában a holland kormány lemondásához vezetett.
Dutch families can receive a childcare allowance (kinderopvangtoeslag) to offset daycare costs. In the early 2010s, after publicized fraud by some childcare agencies, the Tax and Customs Administration took a strict anti-fraud approach. Small administrative errors could lead to the entire allowance being reclaimed. Parents labeled as acting with intent or gross negligence were refused payment arrangements. Many families were left with debts of tens of thousands of euros, lost homes and jobs, and saw their family lives break down. Some of the files chosen for scrutiny came from a risk classification model that scored applications. Amnesty International's 2021 report "Xenophobic Machines" described it as a self-learning model and noted that non-Dutch nationality was one of its risk indicators. In 2020, the Dutch Data Protection Authority concluded that the administration's processing of nationality and dual nationality data was unlawful and discriminatory, and it later fined the tax administration. Investigators also found a separate internal blacklist, the Fraud Signaling Facility, which the authority also sanctioned. A parliamentary inquiry published its report, "Unprecedented Injustice," in December 2020. It found that fundamental principles of the rule of law had been violated. Prime Minister Mark Rutte's cabinet resigned in January 2021. The government set up a compensation scheme that included a baseline payment for recognized victims, but processing claims has been slow. A common misconception is that an algorithm alone caused the scandal. The model selected cases, but the harm came from the whole system: all-or-nothing recovery rules, a presumption of fraud, secrecy, weak appeals and officials who did not question the model's outputs. Another misconception is that removing nationality from the model would have been enough. The deeper failure was a lack of proportionality and accountability. The scandal is widely cited in debates on the EU AI Act, which classifies AI used to assess eligibility for public benefits as high risk.
Egy szülőt, aki kisebb adminisztrációs hibát vétett, megjelöltek, szándékos vagy súlyosan gondatlan magatartással vádoltak meg, és köteleztek több évnyi gyermekgondozási támogatás visszafizetésére, fizetési könnyítés lehetősége nélkül.
Egy kettős állampolgár kérelme magasabb kockázati pontszámot kapott, mint egy holland állampolgár hasonló kérelme, mivel a nem holland állampolgárság a modell egyik kockázati mutatója volt.
Egy csalásfelderítő modellt tervező jóléti ügynökségnek most meg kell felelnie az EU AI Act szerinti magas kockázatú rendszerekre vonatkozó követelményeknek, amelyek a közjuttatásokra való jogosultságot értékelik, beleértve a kockázatkezelést, a dokumentációt és az emberi felügyeletet.
Egy adatvédelmi tisztviselő ellenőrzi, hogy egy közszférabeli modell használ-e állampolgárságot, etnikai hovatartozást vagy helyettesítő mutatókat, például irányítószámot, követve a holland adatvédelmi hatóság azon megállapítását, miszerint az adóhivatal állampolgársági adatokra vonatkozó gyakorlata jogellenes és diszkriminatív volt.
Az érintett családok kártalanítása és rehabilitációja még folyamatban van, a holland intézmények pedig olyan intézkedéseket vezettek be, mint a nyilvános algoritmusnyilvántartás. Az EU AI Act a juttatásokra való jogosultságot ellenőrző rendszereket magas kockázatúnak minősíti, és ezek a kötelezettségek fokozatosan lépnek életbe. A társadalmi pontozás tilalmát is gyakran vitatják meg ezzel az esettel összefüggésben. Hogy ezek a szabályok mennyire változtatják meg a közszféra gyakorlatát, az a végrehajtástól, az ellenőrzési kapacitástól és attól függ, hogy az ügynökségek tesznek-e közzé érdemi dokumentációt. Az eset azt mutatja, hogy a modell körüli biztosítékok – beleértve az arányos szabályokat, az átláthatóságot és a valódi fellebbezési útvonalakat – ugyanolyan fontosak, mint maga a modell.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A holland gyermekgondozási támogatási botrány, más néven toeslagenaffaire, az az eset, amely során a holland adó- és vámhatóság tízezernyi szülőt kezelt tévesen csalóként, és követelte tőlük a gyermekgondozási támogatás visszafizetését. A folyamatot részben egy olyan kockázatértékelő modell irányította, amely a holland állampolgárságot használta tényezőként. Az eset megmutatta, hogyan okozhat tömeges károkat az automatizált kockázatkiválasztás, kemény szabályokkal és az emberi mérlegelés hiányával párosulva, ami 2021 januárjában a holland kormány lemondásához vezetett.
Az Amnesty International jelentése szerint a nem holland állampolgárság kockázati mutató volt, a holland adatvédelmi hatóság pedig jogellenesnek és diszkriminatívnak találta az állampolgársági adatok kezelését.
A hatóság jogellenesnek és diszkriminatívnak minősítette az adatkezelést, és később megbírságolta az adóhatóságot.
Ez a bélyeg kizárta a családokat a részletfizetési megállapodásokból, ezért fordulhattak elő, hogy a apró hibákból is fojtogató adósságok váltak.
„Példátlan igazságtalanság” – ez volt a parlamenti jelentés. Az „Idegenutáló gépek” az Amnesty jelentése volt, a Csalásjelző Rendszer pedig egy belső feketelista.
A Rutte-kabinet 2021 januárjában lemondott, néhány héttel a parlamenti vizsgálóbizottsági jelentés után.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Michigan MiDAS munkanélküliségi algoritmus botránya
Társadalom