HƯỚNG DẪN xã hội

COMPAS và sai lệch trong thuật toán tái phạm

COMPAS (Hồ sơ quản lý người phạm tội cải tạo để áp dụng các biện pháp trừng phạt thay thế) là một công cụ đánh giá rủi ro thương mại của Northpointe, hiện nay là Equivant, nhằm đánh giá khả năng tái phạm của bị cáo.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyđọc 4 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của COMPAS và Xu hướng trong Thuật toán Tái phạm
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Nó đã trở thành nghiên cứu điển hình trọng tâm về tính công bằng trong thuật toán sau khi cuộc điều tra của ProPublica năm 2016 phát hiện ra rằng các lỗi của nó giảm không đồng đều theo chủng tộc. Cuộc tranh luận sau đó cho thấy các định nghĩa chung về sự công bằng có thể xung đột về mặt toán học.

Lặn sâu

Vào tháng 5 năm 2016, ProPublica đã xuất bản cuốn "Machine Bias". Nó đã phân tích điểm COMPAS của khoảng 7.000 người bị bắt ở Quận Broward, Florida, vào năm 2013 và 2014, đồng thời kiểm tra xem ai bị buộc tội mới trong vòng hai năm. Chủng tộc không phải là thông tin đầu vào của COMPAS, vốn sử dụng tiền sử tội phạm và bảng câu hỏi. Mặc dù vậy, ProPublica nhận thấy rằng trong số những người không tái phạm, bị cáo Da đen có khả năng bị coi là có nguy cơ cao hơn gần gấp đôi so với bị cáo da trắng. Trong số những người tái phạm, bị cáo da trắng thường được cho là có nguy cơ thấp hơn. Nói một cách đơn giản, tỷ lệ dương tính giả cao hơn đối với bị cáo Da đen và tỷ lệ âm tính giả cao hơn đối với bị cáo da trắng. ProPublica cũng báo cáo rằng độ chính xác tổng thể rất khiêm tốn, khoảng 60%. Northpointe trả lời rằng công cụ này công bằng theo một tiêu chuẩn khác. Ở mỗi mức điểm, bị cáo Da đen và da trắng tái phạm với tỷ lệ tương tự nhau, do đó, một điểm nhất định có ý nghĩa như nhau bất kể chủng tộc. Thuộc tính này được gọi là hiệu chuẩn hoặc tính chẵn lẻ dự đoán. Con số của mỗi bên phần lớn là chính xác. Các nhà nghiên cứu sau đó đã chỉ ra tại sao cả hai đều đúng. Jon Kleinberg, Sendhil Mullainathan và Manish Raghavan, và riêng Alexandra Chouldechova, đã chứng minh rằng khi hai nhóm có tỷ lệ cơ bản về kết quả khác nhau, điểm số không thể được hiệu chỉnh và cũng có tỷ lệ dương tính giả và âm tính giả như nhau giữa các nhóm. Ngoại lệ duy nhất là một công cụ dự đoán hoàn hảo. Vì vậy việc lựa chọn một định nghĩa công bằng là một phán đoán có giá trị chứ không phải là một chi tiết mang tính kỹ thuật. Trong vụ kiện Bang v. Loomis (2016), Tòa án Tối cao Wisconsin đã cho phép các thẩm phán xem xét COMPAS khi tuyên án. Tòa phán quyết rằng điểm số không thể là yếu tố quyết định và cần có văn bản cảnh báo kèm theo. Một nghiên cứu ở Dartmouth năm 2018 của Julia Dressel và Hany Farid cho thấy những tình nguyện viên trực tuyến chưa được đào tạo đã dự đoán việc bắt lại chính xác như COMPAS. Một quan niệm sai lầm phổ biến là việc loại bỏ sự thiên vị sẽ loại bỏ sự thiên vị. Các đầu vào tương quan như các vụ bắt giữ trước đó có thể đưa các mô hình kiểm soát lịch sử vào điểm số.

Triển khai trong thế giới thực

Tại một quận sử dụng COMPAS, viên chức xét xử trước khi xét xử sẽ kết hợp các câu trả lời trong bảng câu hỏi của bị cáo với lịch sử tội phạm của họ. Kết quả là một tập hợp điểm thập phân từ 1 đến 10 xuất hiện trong báo cáo gửi cho giám khảo.

Sau vụ State v. Loomis, thẩm phán Wisconsin nhận được báo cáo COMPAS cũng nhận được cảnh báo bằng văn bản. Họ cảnh báo rằng phương pháp này là độc quyền, điểm số mô tả các nhóm chứ không phải cá nhân và các câu hỏi đã được đặt ra về sự chênh lệch chủng tộc.

Một nhà khoa học dữ liệu kiểm tra mô hình cho vay sẽ tính toán cả tỷ lệ hiệu chuẩn và tỷ lệ dương tính giả cho mỗi nhóm. Như với COMPAS, việc cân bằng cái này sẽ phá vỡ cái kia vì tỷ lệ cơ bản của các nhóm khác nhau.

Các nhà nghiên cứu theo dõi nghiên cứu của Dartmouth năm 2018 cho thấy rằng một mô hình đơn giản chỉ sử dụng độ tuổi và số lần kết án trước đó sẽ dự đoán việc tái giam giữ chính xác như toàn bộ điểm COMPAS.

Tương lai của COMPAS và Xu hướng trong Thuật toán Tái phạm

Các công cụ đánh giá rủi ro vẫn được sử dụng trong nhiều bối cảnh trước khi xét xử và tuyên án ở Hoa Kỳ, và cuộc tranh luận vẫn tiếp tục. Một số nhóm cải cách ủng hộ chúng như một sự phán xét nhất quán hơn là không có sự trợ giúp, trong khi những nhóm khác cho rằng chúng củng cố thành kiến ​​lịch sử. Những phát triển có thể xảy ra bao gồm các yêu cầu về xác nhận của địa phương, báo cáo công khai về tỷ lệ sai sót theo nhóm và khả năng tiếp cận của bị cáo về cách tạo điểm, mặc dù tốc độ thay đổi tùy theo khu vực pháp lý. Kết quả bất khả thi hiện là một phần tiêu chuẩn của việc giảng dạy công bằng và định hình các cuộc kiểm toán trong tuyển dụng, cho vay và chăm sóc sức khỏe. Nó không quyết định nên sử dụng định nghĩa nào. Đó vẫn là sự lựa chọn chính sách về những lỗi lầm nào mà xã hội sẵn sàng chấp nhận hơn.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Rủi ro và an toàn. Những tác hại thảm khốc và thường ngày của AI đều phụ thuộc vào việc ai hiểu được rủi ro và ai có thể hành động.
  • Quyết định rõ ràng hơn. Kiến thức công cộng và chuyên môn định hình liệu chính sách an toàn mạnh mẽ có khả thi về mặt chính trị hay không.
  • Phá vỡ sự thổi phồng. Những lời giải thích rõ ràng làm giảm sự thu hút bởi sự cường điệu, PR trong phòng thí nghiệm và sân khấu đạo đức mơ hồ.

coi chừng

  • Xử lý rủi ro hiện hữu như khoa học viễn tưởng trong khi khả năng lại phức tạp.
  • Nhầm lẫn giữa an toàn sản phẩm bề mặt với sự liên kết dưới quyền tự chủ cao.
  • Chỉ để lại những khán giả không phải người Anh và không có chuyên môn với những nguồn chất lượng thấp.

Các bước tiếp theo

  1. Tách biệt các tác hại của sản phẩm, sử dụng sai và rủi ro mất kiểm soát/sai lệch.
  2. Hỏi bằng chứng nào sẽ thay đổi quan điểm của bạn về thời gian và mức độ nghiêm trọng.
  3. Ưu tiên các nguồn chính và đánh giá cụ thể hơn các tuyên bố tiếp thị.
  4. Xác định một lộ trình hành động: sự nghiệp, chính sách, nguồn tài trợ hoặc kỹ năng - không chỉ là nhận thức.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Take the COMPAS and Bias in Recidivism Algorithms quiz

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

COMPAS và Xu hướng trong Thuật toán Tái phạm là gì?

COMPAS (Hồ sơ quản lý người phạm tội cải tạo để áp dụng các biện pháp trừng phạt thay thế) là một công cụ đánh giá rủi ro thương mại của Northpointe, hiện nay là Equivant, nhằm đánh giá khả năng tái phạm của bị cáo. Nó đã trở thành nghiên cứu điển hình trọng tâm về tính công bằng trong thuật toán sau khi cuộc điều tra của ProPublica năm 2016 phát hiện ra rằng các lỗi của nó giảm không đồng đều theo chủng tộc. Cuộc tranh luận sau đó cho thấy các định nghĩa chung về sự công bằng có thể xung đột về mặt toán học.

Trong số những bị cáo KHÔNG tái phạm, ProPublica thấy gì về bị cáo Da đen so với bị cáo da trắng?

ProPublica nhận thấy tỷ lệ dương tính giả cao hơn đối với các bị cáo Da đen. Trong số những người không tái phạm, bị cáo Da đen có nguy cơ bị coi là có nguy cơ cao hơn gần gấp đôi.

Cốt lõi của việc bảo vệ COMPAS của Northpointe là gì?

Northpointe lập luận về tính tương đương có thể dự đoán, còn được gọi là hiệu chuẩn: một số điểm nhất định tương ứng với tỷ lệ tái phạm tương tự bất kể chủng tộc.

Trong điều kiện nào thì kết quả không thể xảy ra cho thấy việc hiệu chuẩn và tỷ lệ lỗi bằng nhau đều không thể đúng?

Kleinberg, Mullainathan và Raghavan, và riêng Chouldechova, cho thấy xung đột nảy sinh bất cứ khi nào lãi suất cơ bản khác nhau và dự đoán không hoàn hảo.

Tòa án Tối cao Wisconsin đã giữ gì trong vụ kiện Bang kiện Loomis?

Tòa án cho phép sử dụng COMPAS cùng với các yếu tố khác, kèm theo cảnh báo bằng văn bản về giới hạn của nó, nhưng phán quyết rằng nó không thể là yếu tố quyết định.

Cuộc đua có phải là đầu vào của COMPAS không?

Chủng tộc không phải là đầu vào. Sự chênh lệch vẫn có thể phát sinh thông qua các đầu vào tương quan và thông qua sự khác biệt về lãi suất cơ bản.