Lo scandalo dell’algoritmo olandese per i benefici per l’infanzia

Le famiglie olandesi possono ricevere un assegno per l'infanzia (kinderopvangtoeslag) per compensare i costi dell'asilo nido. All’inizio degli anni 2010, dopo aver pubblicizzato la frode da parte di alcune agenzie per l’infanzia, l’Amministrazione fiscale e doganale ha adottato un rigoroso approccio antifrode. Piccoli errori amministrativi potrebbero portare alla restituzione dell’intera indennità. Ai genitori accusati di aver agito con dolo o colpa grave sono stati rifiutati gli accordi di pagamento. Molte famiglie sono rimaste con debiti per decine di migliaia di euro, hanno perso casa e lavoro e hanno visto la loro vita familiare crollare. Alcuni dei fascicoli scelti per l'esame provenivano da un modello di classificazione del rischio che valutava le domande. Il rapporto di Amnesty International del 2021 "Xenophobic Machines" lo ha descritto come un modello di autoapprendimento e ha osservato che la nazionalità non olandese era uno dei suoi indicatori di rischio. Nel 2020, l'autorità olandese per la protezione dei dati ha concluso che il trattamento dei dati relativi alla nazionalità e alla doppia nazionalità da parte dell'amministrazione era illegale e discriminatorio e ha successivamente sanzionato l'amministrazione fiscale. Gli investigatori hanno anche trovato una lista nera interna separata, la Fraud Signaling Facility, che l'autorità ha anche sanzionato. Un’inchiesta parlamentare ha pubblicato il suo rapporto “Un’ingiustizia senza precedenti” nel dicembre 2020. Ha riscontrato che i principi fondamentali dello Stato di diritto erano stati violati. Il gabinetto del primo ministro Mark Rutte si è dimesso nel gennaio 2021. Il governo ha istituito un programma di risarcimento che includeva un pagamento di base per le vittime riconosciute, ma l'elaborazione delle richieste è stata lenta. Un malinteso comune è che sia stato un algoritmo a causare lo scandalo. Il modello selezionava i casi, ma il danno veniva dall’intero sistema: regole di recupero “tutto o niente”, presunzione di frode, segretezza, ricorsi deboli e funzionari che non mettevano in discussione i risultati del modello. Un altro malinteso è che sarebbe stato sufficiente rimuovere la nazionalità dal modello. Il fallimento più profondo è stata la mancanza di proporzionalità e responsabilità. Lo scandalo è ampiamente citato nei dibattiti sulla legge UE sull’intelligenza artificiale, che classifica l’intelligenza artificiale utilizzata per valutare l’ammissibilità ai benefici pubblici come ad alto rischio.