Tiếp theoHướng dẫn tiếp theo
Xu hướng chủng tộc trong thuật toán chăm sóc sức khỏe
xã hội
HƯỚNG DẪN xã hội
COMPAS (Hồ sơ quản lý người phạm tội cải tạo để áp dụng các biện pháp trừng phạt thay thế) là một công cụ đánh giá rủi ro thương mại của Northpointe, hiện nay là Equivant, nhằm đánh giá khả năng tái phạm của bị cáo.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Nó đã trở thành nghiên cứu điển hình trọng tâm về tính công bằng trong thuật toán sau khi cuộc điều tra của ProPublica năm 2016 phát hiện ra rằng các lỗi của nó giảm không đồng đều theo chủng tộc. Cuộc tranh luận sau đó cho thấy các định nghĩa chung về sự công bằng có thể xung đột về mặt toán học.
Vào tháng 5 năm 2016, ProPublica đã xuất bản cuốn "Machine Bias". Nó đã phân tích điểm COMPAS của khoảng 7.000 người bị bắt ở Quận Broward, Florida, vào năm 2013 và 2014, đồng thời kiểm tra xem ai bị buộc tội mới trong vòng hai năm. Chủng tộc không phải là thông tin đầu vào của COMPAS, vốn sử dụng tiền sử tội phạm và bảng câu hỏi. Mặc dù vậy, ProPublica nhận thấy rằng trong số những người không tái phạm, bị cáo Da đen có khả năng bị coi là có nguy cơ cao hơn gần gấp đôi so với bị cáo da trắng. Trong số những người tái phạm, bị cáo da trắng thường được cho là có nguy cơ thấp hơn. Nói một cách đơn giản, tỷ lệ dương tính giả cao hơn đối với bị cáo Da đen và tỷ lệ âm tính giả cao hơn đối với bị cáo da trắng. ProPublica cũng báo cáo rằng độ chính xác tổng thể rất khiêm tốn, khoảng 60%. Northpointe trả lời rằng công cụ này công bằng theo một tiêu chuẩn khác. Ở mỗi mức điểm, bị cáo Da đen và da trắng tái phạm với tỷ lệ tương tự nhau, do đó, một điểm nhất định có ý nghĩa như nhau bất kể chủng tộc. Thuộc tính này được gọi là hiệu chuẩn hoặc tính chẵn lẻ dự đoán. Con số của mỗi bên phần lớn là chính xác. Các nhà nghiên cứu sau đó đã chỉ ra tại sao cả hai đều đúng. Jon Kleinberg, Sendhil Mullainathan và Manish Raghavan, và riêng Alexandra Chouldechova, đã chứng minh rằng khi hai nhóm có tỷ lệ cơ bản về kết quả khác nhau, điểm số không thể được hiệu chỉnh và cũng có tỷ lệ dương tính giả và âm tính giả như nhau giữa các nhóm. Ngoại lệ duy nhất là một công cụ dự đoán hoàn hảo. Vì vậy việc lựa chọn một định nghĩa công bằng là một phán đoán có giá trị chứ không phải là một chi tiết mang tính kỹ thuật. Trong vụ kiện Bang v. Loomis (2016), Tòa án Tối cao Wisconsin đã cho phép các thẩm phán xem xét COMPAS khi tuyên án. Tòa phán quyết rằng điểm số không thể là yếu tố quyết định và cần có văn bản cảnh báo kèm theo. Một nghiên cứu ở Dartmouth năm 2018 của Julia Dressel và Hany Farid cho thấy những tình nguyện viên trực tuyến chưa được đào tạo đã dự đoán việc bắt lại chính xác như COMPAS. Một quan niệm sai lầm phổ biến là việc loại bỏ sự thiên vị sẽ loại bỏ sự thiên vị. Các đầu vào tương quan như các vụ bắt giữ trước đó có thể đưa các mô hình kiểm soát lịch sử vào điểm số.
Tại một quận sử dụng COMPAS, viên chức xét xử trước khi xét xử sẽ kết hợp các câu trả lời trong bảng câu hỏi của bị cáo với lịch sử tội phạm của họ. Kết quả là một tập hợp điểm thập phân từ 1 đến 10 xuất hiện trong báo cáo gửi cho giám khảo.
Sau vụ State v. Loomis, thẩm phán Wisconsin nhận được báo cáo COMPAS cũng nhận được cảnh báo bằng văn bản. Họ cảnh báo rằng phương pháp này là độc quyền, điểm số mô tả các nhóm chứ không phải cá nhân và các câu hỏi đã được đặt ra về sự chênh lệch chủng tộc.
Một nhà khoa học dữ liệu kiểm tra mô hình cho vay sẽ tính toán cả tỷ lệ hiệu chuẩn và tỷ lệ dương tính giả cho mỗi nhóm. Như với COMPAS, việc cân bằng cái này sẽ phá vỡ cái kia vì tỷ lệ cơ bản của các nhóm khác nhau.
Các nhà nghiên cứu theo dõi nghiên cứu của Dartmouth năm 2018 cho thấy rằng một mô hình đơn giản chỉ sử dụng độ tuổi và số lần kết án trước đó sẽ dự đoán việc tái giam giữ chính xác như toàn bộ điểm COMPAS.
Các công cụ đánh giá rủi ro vẫn được sử dụng trong nhiều bối cảnh trước khi xét xử và tuyên án ở Hoa Kỳ, và cuộc tranh luận vẫn tiếp tục. Một số nhóm cải cách ủng hộ chúng như một sự phán xét nhất quán hơn là không có sự trợ giúp, trong khi những nhóm khác cho rằng chúng củng cố thành kiến lịch sử. Những phát triển có thể xảy ra bao gồm các yêu cầu về xác nhận của địa phương, báo cáo công khai về tỷ lệ sai sót theo nhóm và khả năng tiếp cận của bị cáo về cách tạo điểm, mặc dù tốc độ thay đổi tùy theo khu vực pháp lý. Kết quả bất khả thi hiện là một phần tiêu chuẩn của việc giảng dạy công bằng và định hình các cuộc kiểm toán trong tuyển dụng, cho vay và chăm sóc sức khỏe. Nó không quyết định nên sử dụng định nghĩa nào. Đó vẫn là sự lựa chọn chính sách về những lỗi lầm nào mà xã hội sẵn sàng chấp nhận hơn.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
COMPAS (Hồ sơ quản lý người phạm tội cải tạo để áp dụng các biện pháp trừng phạt thay thế) là một công cụ đánh giá rủi ro thương mại của Northpointe, hiện nay là Equivant, nhằm đánh giá khả năng tái phạm của bị cáo. Nó đã trở thành nghiên cứu điển hình trọng tâm về tính công bằng trong thuật toán sau khi cuộc điều tra của ProPublica năm 2016 phát hiện ra rằng các lỗi của nó giảm không đồng đều theo chủng tộc. Cuộc tranh luận sau đó cho thấy các định nghĩa chung về sự công bằng có thể xung đột về mặt toán học.
ProPublica nhận thấy tỷ lệ dương tính giả cao hơn đối với các bị cáo Da đen. Trong số những người không tái phạm, bị cáo Da đen có nguy cơ bị coi là có nguy cơ cao hơn gần gấp đôi.
Northpointe lập luận về tính tương đương có thể dự đoán, còn được gọi là hiệu chuẩn: một số điểm nhất định tương ứng với tỷ lệ tái phạm tương tự bất kể chủng tộc.
Kleinberg, Mullainathan và Raghavan, và riêng Chouldechova, cho thấy xung đột nảy sinh bất cứ khi nào lãi suất cơ bản khác nhau và dự đoán không hoàn hảo.
Tòa án cho phép sử dụng COMPAS cùng với các yếu tố khác, kèm theo cảnh báo bằng văn bản về giới hạn của nó, nhưng phán quyết rằng nó không thể là yếu tố quyết định.
Chủng tộc không phải là đầu vào. Sự chênh lệch vẫn có thể phát sinh thông qua các đầu vào tương quan và thông qua sự khác biệt về lãi suất cơ bản.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Xu hướng chủng tộc trong thuật toán chăm sóc sức khỏe
xã hội