SeterusnyaPanduan seterusnya
AI dan Penciptaan Paten: Kes DABUS
Masyarakat
PANDUAN Masyarakat
Alat Pengambilan AI Dikikis Amazon
Alat pengambilan AI Amazon ialah sistem percubaan, bermula sekitar 2014, yang menilai resume pemohon pekerjaan daripada satu hingga lima bintang dengan belajar daripada sepuluh tahun resume yang lalu.
Pada halaman ini4 minit membaca
Gambaran keseluruhan
Amazon meninggalkannya selepas mendapati ia menghukum resume yang berkaitan dengan wanita. Ia kini menjadi contoh standard bagaimana model yang dilatih mengenai keputusan sejarah menghasilkan semula diskriminasi masa lalu.
Menyelam dalam
Reuters melaporkan pada Oktober 2018 bahawa Amazon telah membina, dan kemudian membatalkan secara senyap-senyap, alat pembelajaran mesin untuk menentukan kedudukan calon pekerjaan. Satu pasukan memulakan kerja sekitar tahun 2014. Matlamatnya adalah untuk mengumpul resume dan mendapatkan kembali beberapa calon teratas untuk diambil. Model-model tersebut telah dilatih mengenai resume yang diserahkan kepada syarikat selama sepuluh tahun dan mempelajari corak mana yang cenderung untuk digunakan dengan orang yang diupah. Kebanyakan pemohon untuk peranan teknikal adalah lelaki, jadi corak yang dipelajari model adalah berkod lelaki. Menjelang 2015, pasukan itu melihat bahawa sistem itu tidak menilai calon untuk pembangun perisian dan pekerjaan teknikal lain dalam cara yang neutral jantina. Menurut Reuters, ia menghukum resume yang mengandungi perkataan "wanita," seperti dalam "kapten kelab catur wanita," dan menurunkan taraf graduan dua kolej semua wanita. Ia juga menyukai kata kerja seperti "dilaksanakan" dan "ditawan," yang lebih kerap muncul pada resume lelaki. Jurutera menyunting model menjadi neutral kepada istilah tertentu tersebut. Itu tidak memberi jaminan sistem tidak akan mencari cara lain untuk menyusun calon yang sama diskriminasi. Projek itu kehilangan sokongan dan pasukan itu dibubarkan pada awal 2017. Amazon berkata alat itu tidak pernah digunakan oleh perekrutnya untuk menilai calon. Reuters melaporkan bahawa perekrut melihat cadangannya tetapi tidak bergantung kepada mereka sahaja. Pengajaran utama ialah label latihan adalah masalahnya. Model itu meramalkan dengan tepat siapa yang telah diambil oleh Amazon sebelum ini, dan keputusan pengambilan pekerja yang lalu itu mengandungi berat sebelah. Salah tanggapan yang biasa ialah algoritma "menjadi seksis" dengan sendirinya. Malah ia mengetahui dengan tepat apa yang diberi ganjaran oleh data. Satu lagi ialah mengalih keluar jantina menyelesaikan masalah. Teks mengandungi banyak proksi berkorelasi, dan model yang fleksibel akan menemuinya. Kes itu kini muncul dalam perbahasan kawal selia, termasuk undang-undang audit berat sebelah New York City untuk alat pengambilan pekerja automatik dan klasifikasi sistem pekerjaan EU AI Act sebagai berisiko tinggi.
Kesan Strategik
Risiko dan keselamatan
Kemudaratan AI malapetaka dan setiap hari bergantung pada siapa yang memahami risiko dan siapa yang boleh bertindak.
Keputusan yang lebih jelas
Celik awam dan profesional membentuk sama ada dasar keselamatan yang kukuh adalah mungkin dari segi politik.
Memotong keterujaan
Penjelasan yang jelas mengurangkan tangkapan oleh gembar-gembur, PR makmal dan teater etika yang tidak jelas.
Masa Depan Alat Perekrutan AI Dikosongkan Amazon
Pengambilan pekerja beralih daripada penapis kata kunci kepada model bahasa besar yang meringkaskan dan meletakkan kedudukan calon, dan ini menimbulkan risiko yang sama pada skala yang lebih besar. Pengawal selia bertindak balas. New York City memerlukan audit berat sebelah untuk alat keputusan pekerjaan automatik, dan Akta AI EU mengklasifikasikan sistem pengambilan sebagai berisiko tinggi, dengan kewajipan akan dilaksanakan secara berperingkat. Di AS, undang-undang anti-diskriminasi sedia ada seperti Tajuk VII masih terpakai kepada alatan algoritma, walaupun panduan agensi persekutuan telah beralih. Kaedah audit masih matang, dan audit yang lulus pada satu set data tidak menjamin keadilan di tempat lain. Pengajaran kekal kes Amazon ialah mempersoalkan model yang dilatih untuk diramalkan sebelum mempercayai sejauh mana model itu meramalkannya.
Pelaksanaan Dunia Sebenar
Penyenaraian resume "kapten kelab catur wanita" akan mendapat markah yang lebih rendah, kerana dalam data latihan perkataan "wanita" jarang muncul pada resume orang yang diupah.
Majikan di New York City yang menggunakan alat automatik untuk menyaring calon mesti menjalankan audit berat sebelah bebas dan menerbitkan ringkasan di bawah Undang-undang Tempatan 144, keperluan yang dibentuk oleh kes seperti Amazon.
Seorang vendor membuang medan jantina dan perkataan jantina daripada model saringan. Ujian impak yang berbeza kemudian menunjukkan wanita masih lulus di bawah empat perlima kadar lelaki, kerana proksi seperti hobi atau nama kolej.
Sebuah syarikat melatih semula model kedudukan untuk meramalkan "pekerja yang berjaya" dan mendapati bahawa label itu sendiri mencerminkan keputusan kenaikan pangkat yang berat sebelah. Ia bertukar kepada penilaian kemahiran berstruktur dan berkaitan pekerjaan sebagai sasaran latihan.
Risiko & Pengawal
Merawat risiko kewujudan sebagai sci-fi manakala sebatian keupayaan.
Mengelirukan keselamatan produk permukaan dengan penjajaran di bawah autonomi tinggi.
Meninggalkan khalayak bukan Inggeris dan bukan pakar dengan hanya sumber berkualiti rendah.
Hala Tuju Pelaksanaan
Asingkan bahaya produk, penyalahgunaan dan kehilangan kawalan / risiko salah jajaran.
Tanya apakah bukti yang akan mengubah pandangan anda tentang garis masa dan keterukan.
Lebih suka sumber utama dan penilaian konkrit berbanding tuntutan pemasaran.
Kenal pasti satu laluan tindakan: kerjaya, dasar, pembiayaan atau kemahiran — bukan sahaja kesedaran.
Teruskan Meneroka
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Amazon's Scrapped AI Recruiting Tool quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Soalan lazim
Apakah Alat Pengambilan AI Dikosongkan Amazon?
Alat pengambilan AI Amazon ialah sistem percubaan, bermula sekitar 2014, yang menilai resume pemohon pekerjaan daripada satu hingga lima bintang dengan belajar daripada sepuluh tahun resume yang lalu. Amazon meninggalkannya selepas mendapati ia menghukum resume yang berkaitan dengan wanita. Ia kini menjadi contoh standard bagaimana model yang dilatih mengenai keputusan sejarah menghasilkan semula diskriminasi masa lalu.
Data apakah model perekrutan Amazon dilatih?
Model belajar daripada kira-kira sepuluh tahun resume yang diserahkan kepada Amazon, dan kebanyakan pemohon untuk peranan teknikal adalah lelaki.
Perkataan manakah yang Reuters melaporkan model itu dihukum?
Resume yang mengandungi "wanita," seperti dalam "kapten kelab catur wanita," telah diturunkan tarafnya. "Dieksekusi" dan "ditawan" diutamakan, bukan dihukum.
Mengapakah penyuntingan model untuk mengabaikan istilah jantina tertentu gagal menyelesaikan masalah?
Menyekat beberapa perkataan tidak mengalih keluar isyarat berkorelasi yang tersebar melalui teks, jadi model masih boleh mendiskriminasi melalui proksi lain.
Apakah pengajaran utama tentang label latihan dalam kes ini?
Model itu meramalkan siapa yang telah diupah sebelum ini. Oleh kerana pengambilan pekerja yang lalu telah condong, label mengekodkan yang condong dan model mengeluarkannya semula.
Kata kerja manakah yang dilaporkan disukai oleh model itu kerana ia lebih kerap muncul pada resume lelaki?
Reuters melaporkan bahawa model itu menggemari "dilaksanakan" dan "ditangkap," yang lebih biasa pada resume lelaki, contoh ciri proksi yang halus.
Teruskan belajar
Panduan berkaitan
Lebih banyak panduan dipilih untuk topik ini