PANDUAN Masyarakat

COMPAS dan Bias dalam Algoritma Recidivism

COMPAS (Profil Pengurusan Pesalah Pembetulan untuk Sekatan Alternatif) ialah alat penilaian risiko komersial daripada Northpointe, kini Equivant, yang menilai kemungkinan defendan akan melakukan kesalahan semula.

Dengar panduan iniAI-diceritakan · ~3 min

Pada halaman ini4 minit membaca
  1. Gambaran keseluruhan
  2. Menyelam dalam
  3. Pelaksanaan Dunia Sebenar
  4. Masa Depan COMPAS dan Bias dalam Algoritma Recidivism
  5. Mempraktikkannya
  6. Teruskan Meneroka
  7. Soalan lazim

Gambaran keseluruhan

Ia menjadi kajian kes utama dalam keadilan algoritma selepas penyiasatan ProPublica 2016 mendapati bahawa kesilapannya jatuh tidak sekata mengikut kaum. Perbahasan yang diikuti menunjukkan bahawa takrifan umum tentang keadilan boleh bercanggah secara matematik.

Menyelam dalam

Pada Mei 2016, ProPublica menerbitkan "Mesin Bias." Ia menganalisis markah COMPAS untuk kira-kira 7,000 orang yang ditangkap di Broward County, Florida, pada 2013 dan 2014, dan memeriksa siapa yang didakwa dengan jenayah baharu dalam tempoh dua tahun. Bangsa bukanlah input kepada COMPAS, yang menggunakan sejarah jenayah dan soal selidik. Walaupun begitu, ProPublica mendapati bahawa dalam kalangan orang yang tidak melakukan kesalahan semula, defendan Hitam hampir dua kali lebih mungkin berbanding defendan kulit putih telah dilabelkan berisiko lebih tinggi. Dalam kalangan orang yang melakukan kesalahan semula, defendan kulit putih lebih kerap dilabelkan berisiko lebih rendah. Ringkasnya, kadar positif palsu lebih tinggi untuk defendan Kulit Hitam dan kadar negatif palsu lebih tinggi untuk defendan kulit putih. ProPublica juga melaporkan bahawa ketepatan keseluruhan adalah sederhana, sekitar 60 peratus. Northpointe menjawab bahawa alat itu adil dengan standard yang berbeza. Pada setiap tahap skor, defendan kulit hitam dan kulit putih melakukan kesalahan semula pada kadar yang sama, jadi skor yang diberikan bermaksud perkara yang sama tanpa mengira kaum. Sifat ini dipanggil penentukuran, atau pariti ramalan. Nombor setiap pihak adalah betul. Penyelidik kemudian menunjukkan mengapa kedua-duanya boleh betul. Jon Kleinberg, Sendhil Mullainathan dan Manish Raghavan, dan secara berasingan Alexandra Chouldechova, membuktikan bahawa apabila dua kumpulan mempunyai kadar asas keputusan yang berbeza, skor tidak boleh ditentukur dan juga mempunyai kadar positif palsu dan negatif palsu yang sama merentas kumpulan. Satu-satunya pengecualian ialah peramal yang sempurna. Jadi memilih definisi keadilan ialah pertimbangan nilai, bukan butiran teknikal. Dalam State lwn. Loomis (2016), Mahkamah Agung Wisconsin membenarkan hakim mempertimbangkan COMPAS semasa menjatuhkan hukuman. Ia memutuskan bahawa skor tidak boleh menjadi faktor penentu dan memerlukan peringatan bertulis untuk mengiringinya. Kajian Dartmouth 2018 oleh Julia Dressel dan Hany Farid mendapati bahawa sukarelawan dalam talian yang tidak terlatih meramalkan penangkapan semula setepat COMPAS. Salah tanggapan yang lazim ialah meninggalkan perlumbaan menghilangkan berat sebelah. Input berkorelasi seperti penahanan terdahulu boleh membawa corak kepolisan sejarah ke dalam skor.

Pelaksanaan Dunia Sebenar

Di daerah yang menggunakan COMPAS, pegawai praperbicaraan menggabungkan jawapan soal selidik defendan dengan sejarah jenayah mereka. Hasilnya ialah satu set skor desil dari 1 hingga 10 yang muncul dalam laporan yang dihantar kepada hakim.

Selepas State lwn. Loomis, hakim Wisconsin yang menerima laporan COMPAS juga menerima amaran bertulis. Mereka memberi amaran bahawa kaedah itu adalah proprietari, bahawa skor menggambarkan kumpulan dan bukannya individu, dan soalan telah dibangkitkan tentang perbezaan kaum.

Seorang saintis data yang mengaudit model pinjaman mengira kedua-dua penentukuran dan kadar positif palsu untuk setiap kumpulan. Seperti COMPAS, penyamaan satu memecahkan yang lain kerana kadar asas kumpulan berbeza.

Penyelidik yang mengikuti kajian Dartmouth 2018 menunjukkan bahawa model mudah yang hanya menggunakan umur dan bilangan sabitan terdahulu meramalkan penangkapan semula setepat markah penuh COMPAS.

Masa Depan COMPAS dan Bias dalam Algoritma Recidivism

Alat penilaian risiko masih digunakan dalam banyak tetapan praperbicaraan dan hukuman AS, dan perbahasan diteruskan. Sesetengah kumpulan reformasi menyokong mereka sebagai lebih konsisten daripada penghakiman tanpa bantuan, sementara yang lain berpendapat bahawa mereka menimbulkan kecenderungan sejarah. Kemungkinan perkembangan termasuk keperluan untuk pengesahan tempatan, pelaporan awam tentang kadar ralat mengikut kumpulan, dan akses untuk defendan kepada cara skor dihasilkan, walaupun kadarnya berbeza mengikut bidang kuasa. Keputusan kemustahilan kini menjadi sebahagian standard pengajaran keadilan dan membentuk audit dalam pengambilan pekerja, pinjaman dan penjagaan kesihatan. Ia tidak menetapkan definisi mana yang hendak digunakan. Itu kekal sebagai pilihan dasar tentang kesilapan mana yang lebih bersedia diterima oleh masyarakat.

Mempraktikkannya

Mengapa ia penting

  • Risiko dan keselamatan. Kemudaratan AI malapetaka dan setiap hari bergantung pada siapa yang memahami risiko dan siapa yang boleh bertindak.
  • Keputusan yang lebih jelas. Celik awam dan profesional membentuk sama ada dasar keselamatan yang kukuh adalah mungkin dari segi politik.
  • Memotong keterujaan. Penjelasan yang jelas mengurangkan tangkapan oleh gembar-gembur, PR makmal dan teater etika yang tidak jelas.

Berhati-hati untuk

  • Merawat risiko kewujudan sebagai sci-fi manakala sebatian keupayaan.
  • Mengelirukan keselamatan produk permukaan dengan penjajaran di bawah autonomi tinggi.
  • Meninggalkan khalayak bukan Inggeris dan bukan pakar dengan hanya sumber berkualiti rendah.

Langkah seterusnya

  1. Asingkan bahaya produk, penyalahgunaan dan kehilangan kawalan / risiko salah jajaran.
  2. Tanya apakah bukti yang akan mengubah pandangan anda tentang garis masa dan keterukan.
  3. Lebih suka sumber utama dan penilaian konkrit berbanding tuntutan pemasaran.
  4. Kenal pasti satu laluan tindakan: kerjaya, dasar, pembiayaan atau kemahiran — bukan sahaja kesedaran.

Teruskan Meneroka

Newsletter percuma

Dapatkan taklimat AI harian

Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.

Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.

Uji diri anda

Ambil kuiz COMPAS dan Bias dalam Algoritma Recidivism

Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.

Mulakan kuiz

Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma

Soalan lazim

Apakah COMPAS dan Bias dalam Algoritma Recidivism?

COMPAS (Profil Pengurusan Pesalah Pembetulan untuk Sekatan Alternatif) ialah alat penilaian risiko komersial daripada Northpointe, kini Equivant, yang menilai kemungkinan defendan akan melakukan kesalahan semula. Ia menjadi kajian kes utama dalam keadilan algoritma selepas penyiasatan ProPublica 2016 mendapati bahawa kesilapannya jatuh tidak sekata mengikut kaum. Perbahasan yang diikuti menunjukkan bahawa takrifan umum tentang keadilan boleh bercanggah secara matematik.

Antara defendan yang TIDAK melakukan kesalahan semula, apakah yang ProPublica dapati tentang defendan Hitam berbanding defendan kulit putih?

ProPublica mendapati kadar positif palsu yang lebih tinggi untuk defendan Hitam. Dalam kalangan orang yang tidak melakukan kesalahan semula, defendan Hitam hampir dua kali lebih mungkin telah dilabelkan berisiko lebih tinggi.

Apakah teras pertahanan Northpointe terhadap COMPAS?

Northpointe berhujah pariti ramalan, juga dipanggil penentukuran: skor yang diberikan sepadan dengan kadar kesalahan semula yang sama tanpa mengira kaum.

Di bawah keadaan apakah hasil kemustahilan mengatakan penentukuran dan kadar ralat yang sama tidak semua boleh dipegang?

Kleinberg, Mullainathan dan Raghavan, dan secara berasingan Chouldechova, menunjukkan konflik timbul apabila kadar asas berbeza dan ramalan tidak sempurna.

Apakah yang dipegang oleh Mahkamah Agung Wisconsin dalam State lwn. Loomis?

Mahkamah membenarkan COMPAS digunakan bersama faktor lain, dengan peringatan bertulis tentang hadnya, tetapi memutuskan ia tidak boleh menjadi faktor penentu.

Adakah perlumbaan adalah input kepada COMPAS?

Perlumbaan bukan input. Perbezaan masih boleh timbul melalui input berkorelasi dan melalui perbezaan dalam kadar asas.