SeterusnyaPanduan seterusnya
Kes Bias Pemotongan Imej Twitter
Syarikat
PANDUAN Masyarakat
Alat pengambilan AI Amazon ialah sistem percubaan, bermula sekitar 2014, yang menilai resume pemohon pekerjaan daripada satu hingga lima bintang dengan belajar daripada sepuluh tahun resume yang lalu.
Dengar panduan iniAI-diceritakan · ~3 min
Amazon meninggalkannya selepas mendapati ia menghukum resume yang berkaitan dengan wanita. Ia kini menjadi contoh standard bagaimana model yang dilatih mengenai keputusan sejarah menghasilkan semula diskriminasi masa lalu.
Reuters melaporkan pada Oktober 2018 bahawa Amazon telah membina, dan kemudian membatalkan secara senyap-senyap, alat pembelajaran mesin untuk menentukan kedudukan calon pekerjaan. Satu pasukan memulakan kerja sekitar tahun 2014. Matlamatnya adalah untuk mengumpul resume dan mendapatkan kembali beberapa calon teratas untuk diambil. Model-model tersebut telah dilatih mengenai resume yang diserahkan kepada syarikat selama sepuluh tahun dan mempelajari corak mana yang cenderung untuk digunakan dengan orang yang diupah. Kebanyakan pemohon untuk peranan teknikal adalah lelaki, jadi corak yang dipelajari model adalah berkod lelaki. Menjelang 2015, pasukan itu melihat bahawa sistem itu tidak menilai calon untuk pembangun perisian dan pekerjaan teknikal lain dalam cara yang neutral jantina. Menurut Reuters, ia menghukum resume yang mengandungi perkataan "wanita," seperti dalam "kapten kelab catur wanita," dan menurunkan taraf graduan dua kolej semua wanita. Ia juga menyukai kata kerja seperti "dilaksanakan" dan "ditawan," yang lebih kerap muncul pada resume lelaki. Jurutera menyunting model menjadi neutral kepada istilah tertentu tersebut. Itu tidak memberi jaminan sistem tidak akan mencari cara lain untuk menyusun calon yang sama diskriminasi. Projek itu kehilangan sokongan dan pasukan itu dibubarkan pada awal 2017. Amazon berkata alat itu tidak pernah digunakan oleh perekrutnya untuk menilai calon. Reuters melaporkan bahawa perekrut melihat cadangannya tetapi tidak bergantung kepada mereka sahaja. Pengajaran utama ialah label latihan adalah masalahnya. Model itu meramalkan dengan tepat siapa yang telah diambil oleh Amazon sebelum ini, dan keputusan pengambilan pekerja yang lalu itu mengandungi berat sebelah. Salah tanggapan yang biasa ialah algoritma "menjadi seksis" dengan sendirinya. Malah ia mengetahui dengan tepat apa yang diberi ganjaran oleh data. Satu lagi ialah mengalih keluar jantina menyelesaikan masalah. Teks mengandungi banyak proksi berkorelasi, dan model yang fleksibel akan menemuinya. Kes itu kini muncul dalam perbahasan kawal selia, termasuk undang-undang audit berat sebelah New York City untuk alat pengambilan pekerja automatik dan klasifikasi sistem pekerjaan EU AI Act sebagai berisiko tinggi.
Penyenaraian resume "kapten kelab catur wanita" akan mendapat markah yang lebih rendah, kerana dalam data latihan perkataan "wanita" jarang muncul pada resume orang yang diupah.
Majikan di New York City yang menggunakan alat automatik untuk menyaring calon mesti menjalankan audit berat sebelah bebas dan menerbitkan ringkasan di bawah Undang-undang Tempatan 144, keperluan yang dibentuk oleh kes seperti Amazon.
Seorang vendor membuang medan jantina dan perkataan jantina daripada model saringan. Ujian impak yang berbeza kemudian menunjukkan wanita masih lulus di bawah empat perlima kadar lelaki, kerana proksi seperti hobi atau nama kolej.
Sebuah syarikat melatih semula model kedudukan untuk meramalkan "pekerja yang berjaya" dan mendapati bahawa label itu sendiri mencerminkan keputusan kenaikan pangkat yang berat sebelah. Ia bertukar kepada penilaian kemahiran berstruktur dan berkaitan pekerjaan sebagai sasaran latihan.
Pengambilan pekerja beralih daripada penapis kata kunci kepada model bahasa besar yang meringkaskan dan meletakkan kedudukan calon, dan ini menimbulkan risiko yang sama pada skala yang lebih besar. Pengawal selia bertindak balas. New York City memerlukan audit berat sebelah untuk alat keputusan pekerjaan automatik, dan Akta AI EU mengklasifikasikan sistem pengambilan sebagai berisiko tinggi, dengan kewajipan akan dilaksanakan secara berperingkat. Di AS, undang-undang anti-diskriminasi sedia ada seperti Tajuk VII masih terpakai kepada alatan algoritma, walaupun panduan agensi persekutuan telah beralih. Kaedah audit masih matang, dan audit yang lulus pada satu set data tidak menjamin keadilan di tempat lain. Pengajaran kekal kes Amazon ialah mempersoalkan model yang dilatih untuk diramalkan sebelum mempercayai sejauh mana model itu meramalkannya.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Alat pengambilan AI Amazon ialah sistem percubaan, bermula sekitar 2014, yang menilai resume pemohon pekerjaan daripada satu hingga lima bintang dengan belajar daripada sepuluh tahun resume yang lalu. Amazon meninggalkannya selepas mendapati ia menghukum resume yang berkaitan dengan wanita. Ia kini menjadi contoh standard bagaimana model yang dilatih mengenai keputusan sejarah menghasilkan semula diskriminasi masa lalu.
Model belajar daripada kira-kira sepuluh tahun resume yang diserahkan kepada Amazon, dan kebanyakan pemohon untuk peranan teknikal adalah lelaki.
Resume yang mengandungi "wanita," seperti dalam "kapten kelab catur wanita," telah diturunkan tarafnya. "Dieksekusi" dan "ditawan" diutamakan, bukan dihukum.
Menyekat beberapa perkataan tidak mengalih keluar isyarat berkorelasi yang tersebar melalui teks, jadi model masih boleh mendiskriminasi melalui proksi lain.
Model itu meramalkan siapa yang telah diupah sebelum ini. Oleh kerana pengambilan pekerja yang lalu telah condong, label mengekodkan yang condong dan model mengeluarkannya semula.
Reuters melaporkan bahawa model itu menggemari "dilaksanakan" dan "ditangkap," yang lebih biasa pada resume lelaki, contoh ciri proksi yang halus.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Kes Bias Pemotongan Imej Twitter
Syarikat