SeterusnyaPanduan seterusnya
Bias Kaum dalam Algoritma Penjagaan Kesihatan
Masyarakat
PANDUAN Masyarakat
COMPAS (Profil Pengurusan Pesalah Pembetulan untuk Sekatan Alternatif) ialah alat penilaian risiko komersial daripada Northpointe, kini Equivant, yang menilai kemungkinan defendan akan melakukan kesalahan semula.
Dengar panduan iniAI-diceritakan · ~3 min
Ia menjadi kajian kes utama dalam keadilan algoritma selepas penyiasatan ProPublica 2016 mendapati bahawa kesilapannya jatuh tidak sekata mengikut kaum. Perbahasan yang diikuti menunjukkan bahawa takrifan umum tentang keadilan boleh bercanggah secara matematik.
Pada Mei 2016, ProPublica menerbitkan "Mesin Bias." Ia menganalisis markah COMPAS untuk kira-kira 7,000 orang yang ditangkap di Broward County, Florida, pada 2013 dan 2014, dan memeriksa siapa yang didakwa dengan jenayah baharu dalam tempoh dua tahun. Bangsa bukanlah input kepada COMPAS, yang menggunakan sejarah jenayah dan soal selidik. Walaupun begitu, ProPublica mendapati bahawa dalam kalangan orang yang tidak melakukan kesalahan semula, defendan Hitam hampir dua kali lebih mungkin berbanding defendan kulit putih telah dilabelkan berisiko lebih tinggi. Dalam kalangan orang yang melakukan kesalahan semula, defendan kulit putih lebih kerap dilabelkan berisiko lebih rendah. Ringkasnya, kadar positif palsu lebih tinggi untuk defendan Kulit Hitam dan kadar negatif palsu lebih tinggi untuk defendan kulit putih. ProPublica juga melaporkan bahawa ketepatan keseluruhan adalah sederhana, sekitar 60 peratus. Northpointe menjawab bahawa alat itu adil dengan standard yang berbeza. Pada setiap tahap skor, defendan kulit hitam dan kulit putih melakukan kesalahan semula pada kadar yang sama, jadi skor yang diberikan bermaksud perkara yang sama tanpa mengira kaum. Sifat ini dipanggil penentukuran, atau pariti ramalan. Nombor setiap pihak adalah betul. Penyelidik kemudian menunjukkan mengapa kedua-duanya boleh betul. Jon Kleinberg, Sendhil Mullainathan dan Manish Raghavan, dan secara berasingan Alexandra Chouldechova, membuktikan bahawa apabila dua kumpulan mempunyai kadar asas keputusan yang berbeza, skor tidak boleh ditentukur dan juga mempunyai kadar positif palsu dan negatif palsu yang sama merentas kumpulan. Satu-satunya pengecualian ialah peramal yang sempurna. Jadi memilih definisi keadilan ialah pertimbangan nilai, bukan butiran teknikal. Dalam State lwn. Loomis (2016), Mahkamah Agung Wisconsin membenarkan hakim mempertimbangkan COMPAS semasa menjatuhkan hukuman. Ia memutuskan bahawa skor tidak boleh menjadi faktor penentu dan memerlukan peringatan bertulis untuk mengiringinya. Kajian Dartmouth 2018 oleh Julia Dressel dan Hany Farid mendapati bahawa sukarelawan dalam talian yang tidak terlatih meramalkan penangkapan semula setepat COMPAS. Salah tanggapan yang lazim ialah meninggalkan perlumbaan menghilangkan berat sebelah. Input berkorelasi seperti penahanan terdahulu boleh membawa corak kepolisan sejarah ke dalam skor.
Di daerah yang menggunakan COMPAS, pegawai praperbicaraan menggabungkan jawapan soal selidik defendan dengan sejarah jenayah mereka. Hasilnya ialah satu set skor desil dari 1 hingga 10 yang muncul dalam laporan yang dihantar kepada hakim.
Selepas State lwn. Loomis, hakim Wisconsin yang menerima laporan COMPAS juga menerima amaran bertulis. Mereka memberi amaran bahawa kaedah itu adalah proprietari, bahawa skor menggambarkan kumpulan dan bukannya individu, dan soalan telah dibangkitkan tentang perbezaan kaum.
Seorang saintis data yang mengaudit model pinjaman mengira kedua-dua penentukuran dan kadar positif palsu untuk setiap kumpulan. Seperti COMPAS, penyamaan satu memecahkan yang lain kerana kadar asas kumpulan berbeza.
Penyelidik yang mengikuti kajian Dartmouth 2018 menunjukkan bahawa model mudah yang hanya menggunakan umur dan bilangan sabitan terdahulu meramalkan penangkapan semula setepat markah penuh COMPAS.
Alat penilaian risiko masih digunakan dalam banyak tetapan praperbicaraan dan hukuman AS, dan perbahasan diteruskan. Sesetengah kumpulan reformasi menyokong mereka sebagai lebih konsisten daripada penghakiman tanpa bantuan, sementara yang lain berpendapat bahawa mereka menimbulkan kecenderungan sejarah. Kemungkinan perkembangan termasuk keperluan untuk pengesahan tempatan, pelaporan awam tentang kadar ralat mengikut kumpulan, dan akses untuk defendan kepada cara skor dihasilkan, walaupun kadarnya berbeza mengikut bidang kuasa. Keputusan kemustahilan kini menjadi sebahagian standard pengajaran keadilan dan membentuk audit dalam pengambilan pekerja, pinjaman dan penjagaan kesihatan. Ia tidak menetapkan definisi mana yang hendak digunakan. Itu kekal sebagai pilihan dasar tentang kesilapan mana yang lebih bersedia diterima oleh masyarakat.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
COMPAS (Profil Pengurusan Pesalah Pembetulan untuk Sekatan Alternatif) ialah alat penilaian risiko komersial daripada Northpointe, kini Equivant, yang menilai kemungkinan defendan akan melakukan kesalahan semula. Ia menjadi kajian kes utama dalam keadilan algoritma selepas penyiasatan ProPublica 2016 mendapati bahawa kesilapannya jatuh tidak sekata mengikut kaum. Perbahasan yang diikuti menunjukkan bahawa takrifan umum tentang keadilan boleh bercanggah secara matematik.
ProPublica mendapati kadar positif palsu yang lebih tinggi untuk defendan Hitam. Dalam kalangan orang yang tidak melakukan kesalahan semula, defendan Hitam hampir dua kali lebih mungkin telah dilabelkan berisiko lebih tinggi.
Northpointe berhujah pariti ramalan, juga dipanggil penentukuran: skor yang diberikan sepadan dengan kadar kesalahan semula yang sama tanpa mengira kaum.
Kleinberg, Mullainathan dan Raghavan, dan secara berasingan Chouldechova, menunjukkan konflik timbul apabila kadar asas berbeza dan ramalan tidak sempurna.
Mahkamah membenarkan COMPAS digunakan bersama faktor lain, dengan peringatan bertulis tentang hadnya, tetapi memutuskan ia tidak boleh menjadi faktor penentu.
Perlumbaan bukan input. Perbezaan masih boleh timbul melalui input berkorelasi dan melalui perbezaan dalam kadar asas.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Bias Kaum dalam Algoritma Penjagaan Kesihatan
Masyarakat