Mai departeUrmătorul ghid
Scandalul datoriilor automate Robodebt din Australia
Societate
Societate GHID
Scandalul olandez al algoritmului de beneficii pentru îngrijirea copiilor
Scandalul olandez al indemnizațiilor pentru îngrijirea copilului, cunoscut sub numele de toeslagenaffaire, este cazul în care Administrația Olandeză Fiscală și Vamală a tratat în mod greșit zeci de mii de părinți drept fraudatori și le-a cerut să le ramburseze alocațiile pentru îngrijirea copilului.
Pe această pagină4 minute de citit
Prezentare generală
Procesul a fost ghidat parțial de un model de evaluare a riscurilor care a folosit naționalitatea olandeză ca factor. A arătat cum selecția automată a riscurilor, combinată cu reguli dure și fără spațiu pentru discreția umană, poate cauza prejudicii în masă și a dus la demisia guvernului olandez în ianuarie 2021.
Scufundare în profunzime
Familiile olandeze pot primi o alocație pentru îngrijirea copilului (kinderopvangtoeslag) pentru a compensa costurile pentru îngrijirea copiilor. La începutul anilor 2010, după frauda mediatizată de către unele agenții de îngrijire a copiilor, Administrația Fiscală și Vamală a adoptat o abordare strictă antifraudă. Micile erori administrative ar putea duce la recuperarea întregii indemnizații. Părinților etichetați ca acționând cu intenție sau cu neglijență gravă li sa refuzat acordurile de plată. Multe familii au rămas cu datorii de zeci de mii de euro, și-au pierdut casele și locurile de muncă și și-au văzut viața de familie stricată. Unele dintre fișierele alese pentru examinare provin dintr-un model de clasificare a riscurilor care a punctat cererile. Raportul din 2021 al Amnesty International „Mașini xenofobe” l-a descris ca un model de auto-învățare și a menționat că naționalitatea non-olandeză este unul dintre indicatorii săi de risc. În 2020, Autoritatea Olandeză pentru Protecția Datelor a concluzionat că prelucrarea de către administrație a datelor privind naționalitatea și dubla naționalitate a fost ilegală și discriminatorie, iar ulterior a amendat administrația fiscală. Anchetatorii au mai găsit o listă neagră internă separată, Facilitatea de semnalizare a fraudelor, pe care autoritatea a sancționat-o și ea. O anchetă parlamentară și-a publicat raportul, „Nedreptate fără precedent”, în decembrie 2020. A constatat că principiile fundamentale ale statului de drept au fost încălcate. Cabinetul primului ministru Mark Rutte a demisionat în ianuarie 2021. Guvernul a instituit o schemă de compensare care includea o plată de bază pentru victimele recunoscute, dar procesarea cererilor a fost lentă. O concepție greșită comună este că doar un algoritm a provocat scandalul. Modelul a selectat cazuri, dar răul a venit din întregul sistem: reguli de recuperare totul sau nimic, o prezumție de fraudă, secret, căi de atac slabe și oficiali care nu au pus sub semnul întrebării rezultatele modelului. O altă concepție greșită este că eliminarea naționalității din model ar fi fost suficientă. Eșecul mai profund a fost lipsa de proporționalitate și responsabilitate. Scandalul este citat pe scară largă în dezbaterile pe tema Legii UE privind inteligența artificială, care clasifică IA utilizată pentru a evalua eligibilitatea pentru beneficii publice drept risc ridicat.
Impact strategic
Risc și siguranță
Daunele catastrofale și cotidiene ale IA depind de cine înțelege riscurile și cine poate acționa.
Decizii mai clare
Educația publică și profesională influențează dacă o politică puternică de siguranță este posibilă din punct de vedere politic.
Tăierea hype-ului
Explicațiile clare reduc captarea de hype, PR de laborator și teatrul vag de etică.
Viitorul Scandalului Olandez al Algoritmului Beneficiilor pentru îngrijirea copiilor
Compensarea și recuperarea familiilor afectate sunt încă în curs de desfășurare, iar instituțiile olandeze au adăugat măsuri precum un registru de algoritm public. Actul UE AI clasifică sistemele de eligibilitate pentru beneficii ca fiind cu risc ridicat, iar aceste obligații sunt introduse treptat. Interdicția sa privind scorul social este, de asemenea, discutată adesea având în vedere acest caz. Cât de mult modifică aceste reguli practica sectorului public va depinde de aplicarea legii, capacitatea de audit și dacă agențiile publică documentație semnificativă. Cazul arată că garanțiile în jurul unui model, inclusiv regulile proporționale, transparența și căile reale de apel, contează la fel de mult ca modelul în sine.
Implementare în lumea reală
Un părinte care a făcut o mică eroare de documente a fost semnalat, etichetat ca acționând cu intenție sau neglijență gravă și i s-a ordonat să ramburseze ani de alocație de îngrijire a copilului fără niciun acord de plată.
Cererea unui cetățean cu dublă cetățenie a primit un scor de risc mai mare decât o cerere similară de la un cetățean olandez, deoarece naționalitatea non-olandeză a fost unul dintre indicatorii de risc ai modelului.
O agenție de asistență socială care elaborează un model de detectare a fraudei se confruntă acum cu cerințele cu risc ridicat din Legea UE AI pentru sistemele care evaluează eligibilitatea pentru beneficii publice, inclusiv managementul riscurilor, documentarea și supravegherea umană.
Un responsabil cu protecția datelor verifică dacă un model din sectorul public folosește naționalitatea, etnia sau proxy, cum ar fi codul poștal, în urma constatării Autorității Olandeze pentru Protecția Datelor că utilizarea de către biroul fiscal a datelor privind naționalitatea a fost ilegală și discriminatorie.
Riscuri și balustrade
Tratarea riscului existențial ca SF în timp ce capacitatea se agravează.
Confuză siguranța produsului de suprafață cu alinierea sub autonomie ridicată.
Lăsând audiențe non-engleze și neexperte doar surse de calitate scăzută.
Foaia de parcurs de implementare
Separați riscurile de deteriorare a produsului, utilizare greșită și pierderea controlului / dezaliniere.
Întrebați ce dovezi v-ar schimba punctul de vedere cu privire la termene și severitate.
Preferați sursele primare și evaluările concrete față de afirmațiile de marketing.
Identificați o singură cale de acțiune: carieră, politică, finanțare sau abilități - nu numai conștientizare.
Continuați să explorați
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the The Dutch Childcare Benefits Algorithm Scandal quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Întrebări frecvente
Ce este Scandalul algoritmului olandez pentru beneficiile pentru îngrijirea copiilor?
Scandalul olandez al indemnizațiilor pentru îngrijirea copilului, cunoscut sub numele de toeslagenaffaire, este cazul în care Administrația Olandeză Fiscală și Vamală a tratat în mod greșit zeci de mii de părinți drept fraudatori și le-a cerut să le ramburseze alocațiile pentru îngrijirea copilului. Procesul a fost ghidat parțial de un model de evaluare a riscurilor care a folosit naționalitatea olandeză ca factor. A arătat cum selecția automată a riscurilor, combinată cu reguli dure și fără spațiu pentru discreția umană, poate cauza prejudicii în masă și a dus la demisia guvernului olandez în ianuarie 2021.
Ce factor a folosit modelul de clasificare a riscurilor al administrației fiscale care s-a dovedit a fi discriminatoriu?
Amnesty International a raportat că cetățenia non-olandeză este un indicator de risc, iar Autoritatea Olandeză pentru Protecția Datelor a considerat că prelucrarea datelor privind naționalitatea este ilegală și discriminatorie.
Ce a concluzionat Autoritatea Olandeză pentru Protecția Datelor în 2020?
Autoritatea a considerat prelucrarea ilegală și discriminatorie și ulterior a amendat administrația fiscală.
Ce s-a întâmplat cu părinții etichetați ca acționând cu intenție sau cu neglijență gravă?
Această etichetă a exclus familiile de aranjamentele de plată, motiv pentru care micile erori s-ar putea transforma în datorii zdrobitoare.
Care a fost titlul raportului de anchetă parlamentară din decembrie 2020?
„Nedreptate fără precedent” a fost raportul parlamentar. „Mașini xenofobe” a fost raportul Amnesty, iar Centrul de semnalizare a fraudelor a fost o listă neagră internă.
Ce consecință politică a urmat scandalului?
Cabinetul Rutte a demisionat în ianuarie 2021, la câteva săptămâni după raportul anchetei parlamentare.
Continuați să învățați
Ghiduri conexe
Mai multe ghiduri alese pentru acest subiect