Vụ bê bối về thuật toán lợi ích chăm sóc trẻ em của Hà Lan

Các gia đình Hà Lan có thể nhận được trợ cấp chăm sóc trẻ em (kinderopvangtoeslag) để bù đắp chi phí giữ trẻ. Đầu những năm 2010, sau khi một số cơ sở chăm sóc trẻ em công khai gian lận, Cục Thuế và Hải quan đã áp dụng biện pháp chống gian lận nghiêm ngặt. Những lỗi hành chính nhỏ có thể dẫn đến việc thu hồi toàn bộ khoản trợ cấp. Các bậc cha mẹ bị dán nhãn là hành động có chủ ý hoặc sơ suất nghiêm trọng đã bị từ chối sắp xếp thanh toán. Nhiều gia đình phải gánh khoản nợ hàng chục nghìn euro, mất nhà cửa, việc làm và chứng kiến ​​cuộc sống gia đình tan vỡ. Một số tệp được chọn để xem xét kỹ lưỡng đến từ mô hình phân loại rủi ro nhằm chấm điểm các ứng dụng. Báo cáo năm 2021 của Tổ chức Ân xá Quốc tế về "Máy bài ngoại" đã mô tả đây là một mô hình tự học và lưu ý rằng quốc tịch không phải Hà Lan là một trong những chỉ báo rủi ro của nó. Vào năm 2020, Cơ quan Bảo vệ Dữ liệu Hà Lan đã kết luận rằng việc xử lý dữ liệu quốc tịch và quốc tịch kép của chính quyền là bất hợp pháp và mang tính phân biệt đối xử, đồng thời sau đó cơ quan này đã phạt cơ quan quản lý thuế. Các nhà điều tra cũng tìm thấy một danh sách đen nội bộ riêng biệt là Cơ sở báo hiệu gian lận mà cơ quan chức năng cũng xử phạt. Một cuộc điều tra của quốc hội đã công bố báo cáo của mình, "Sự bất công chưa từng có" vào tháng 12 năm 2020. Nó phát hiện ra rằng các nguyên tắc cơ bản của nhà nước pháp quyền đã bị vi phạm. Nội các của Thủ tướng Mark Rutte từ chức vào tháng 1 năm 2021. Chính phủ đã thiết lập một kế hoạch bồi thường bao gồm khoản thanh toán cơ bản cho các nạn nhân được xác nhận, nhưng việc xử lý yêu cầu bồi thường diễn ra chậm chạp. Một quan niệm sai lầm phổ biến là chỉ riêng thuật toán đã gây ra vụ bê bối. Mô hình đã lựa chọn các trường hợp, nhưng tác hại đến từ toàn bộ hệ thống: các quy tắc phục hồi tất cả hoặc không có gì, giả định về gian lận, bí mật, kháng nghị yếu kém và các quan chức không đặt câu hỏi về kết quả đầu ra của mô hình. Một quan niệm sai lầm khác là việc loại bỏ quốc tịch khỏi mô hình là đủ. Thất bại sâu xa hơn là sự thiếu cân xứng và trách nhiệm giải trình. Vụ bê bối được trích dẫn rộng rãi trong các cuộc tranh luận về Đạo luật AI của EU, trong đó phân loại AI được sử dụng để đánh giá khả năng đủ điều kiện nhận phúc lợi công là rủi ro cao.