PANDUAN Masyarakat

Alat Pengambilan AI Dikikis Amazon

Alat pengambilan AI Amazon ialah sistem percubaan, bermula sekitar 2014, yang menilai resume pemohon pekerjaan daripada satu hingga lima bintang dengan belajar daripada sepuluh tahun resume yang lalu.

Dengar panduan iniAI-diceritakan · ~3 min

Pada halaman ini4 minit membaca
  1. Gambaran keseluruhan
  2. Menyelam dalam
  3. Pelaksanaan Dunia Sebenar
  4. Masa Depan Alat Perekrutan AI Dikosongkan Amazon
  5. Mempraktikkannya
  6. Teruskan Meneroka
  7. Soalan lazim

Gambaran keseluruhan

Amazon meninggalkannya selepas mendapati ia menghukum resume yang berkaitan dengan wanita. Ia kini menjadi contoh standard bagaimana model yang dilatih mengenai keputusan sejarah menghasilkan semula diskriminasi masa lalu.

Menyelam dalam

Reuters melaporkan pada Oktober 2018 bahawa Amazon telah membina, dan kemudian membatalkan secara senyap-senyap, alat pembelajaran mesin untuk menentukan kedudukan calon pekerjaan. Satu pasukan memulakan kerja sekitar tahun 2014. Matlamatnya adalah untuk mengumpul resume dan mendapatkan kembali beberapa calon teratas untuk diambil. Model-model tersebut telah dilatih mengenai resume yang diserahkan kepada syarikat selama sepuluh tahun dan mempelajari corak mana yang cenderung untuk digunakan dengan orang yang diupah. Kebanyakan pemohon untuk peranan teknikal adalah lelaki, jadi corak yang dipelajari model adalah berkod lelaki. Menjelang 2015, pasukan itu melihat bahawa sistem itu tidak menilai calon untuk pembangun perisian dan pekerjaan teknikal lain dalam cara yang neutral jantina. Menurut Reuters, ia menghukum resume yang mengandungi perkataan "wanita," seperti dalam "kapten kelab catur wanita," dan menurunkan taraf graduan dua kolej semua wanita. Ia juga menyukai kata kerja seperti "dilaksanakan" dan "ditawan," yang lebih kerap muncul pada resume lelaki. Jurutera menyunting model menjadi neutral kepada istilah tertentu tersebut. Itu tidak memberi jaminan sistem tidak akan mencari cara lain untuk menyusun calon yang sama diskriminasi. Projek itu kehilangan sokongan dan pasukan itu dibubarkan pada awal 2017. Amazon berkata alat itu tidak pernah digunakan oleh perekrutnya untuk menilai calon. Reuters melaporkan bahawa perekrut melihat cadangannya tetapi tidak bergantung kepada mereka sahaja. Pengajaran utama ialah label latihan adalah masalahnya. Model itu meramalkan dengan tepat siapa yang telah diambil oleh Amazon sebelum ini, dan keputusan pengambilan pekerja yang lalu itu mengandungi berat sebelah. Salah tanggapan yang biasa ialah algoritma "menjadi seksis" dengan sendirinya. Malah ia mengetahui dengan tepat apa yang diberi ganjaran oleh data. Satu lagi ialah mengalih keluar jantina menyelesaikan masalah. Teks mengandungi banyak proksi berkorelasi, dan model yang fleksibel akan menemuinya. Kes itu kini muncul dalam perbahasan kawal selia, termasuk undang-undang audit berat sebelah New York City untuk alat pengambilan pekerja automatik dan klasifikasi sistem pekerjaan EU AI Act sebagai berisiko tinggi.

Pelaksanaan Dunia Sebenar

Penyenaraian resume "kapten kelab catur wanita" akan mendapat markah yang lebih rendah, kerana dalam data latihan perkataan "wanita" jarang muncul pada resume orang yang diupah.

Majikan di New York City yang menggunakan alat automatik untuk menyaring calon mesti menjalankan audit berat sebelah bebas dan menerbitkan ringkasan di bawah Undang-undang Tempatan 144, keperluan yang dibentuk oleh kes seperti Amazon.

Seorang vendor membuang medan jantina dan perkataan jantina daripada model saringan. Ujian impak yang berbeza kemudian menunjukkan wanita masih lulus di bawah empat perlima kadar lelaki, kerana proksi seperti hobi atau nama kolej.

Sebuah syarikat melatih semula model kedudukan untuk meramalkan "pekerja yang berjaya" dan mendapati bahawa label itu sendiri mencerminkan keputusan kenaikan pangkat yang berat sebelah. Ia bertukar kepada penilaian kemahiran berstruktur dan berkaitan pekerjaan sebagai sasaran latihan.

Masa Depan Alat Perekrutan AI Dikosongkan Amazon

Pengambilan pekerja beralih daripada penapis kata kunci kepada model bahasa besar yang meringkaskan dan meletakkan kedudukan calon, dan ini menimbulkan risiko yang sama pada skala yang lebih besar. Pengawal selia bertindak balas. New York City memerlukan audit berat sebelah untuk alat keputusan pekerjaan automatik, dan Akta AI EU mengklasifikasikan sistem pengambilan sebagai berisiko tinggi, dengan kewajipan akan dilaksanakan secara berperingkat. Di AS, undang-undang anti-diskriminasi sedia ada seperti Tajuk VII masih terpakai kepada alatan algoritma, walaupun panduan agensi persekutuan telah beralih. Kaedah audit masih matang, dan audit yang lulus pada satu set data tidak menjamin keadilan di tempat lain. Pengajaran kekal kes Amazon ialah mempersoalkan model yang dilatih untuk diramalkan sebelum mempercayai sejauh mana model itu meramalkannya.

Mempraktikkannya

Mengapa ia penting

  • Risiko dan keselamatan. Kemudaratan AI malapetaka dan setiap hari bergantung pada siapa yang memahami risiko dan siapa yang boleh bertindak.
  • Keputusan yang lebih jelas. Celik awam dan profesional membentuk sama ada dasar keselamatan yang kukuh adalah mungkin dari segi politik.
  • Memotong keterujaan. Penjelasan yang jelas mengurangkan tangkapan oleh gembar-gembur, PR makmal dan teater etika yang tidak jelas.

Berhati-hati untuk

  • Merawat risiko kewujudan sebagai sci-fi manakala sebatian keupayaan.
  • Mengelirukan keselamatan produk permukaan dengan penjajaran di bawah autonomi tinggi.
  • Meninggalkan khalayak bukan Inggeris dan bukan pakar dengan hanya sumber berkualiti rendah.

Langkah seterusnya

  1. Asingkan bahaya produk, penyalahgunaan dan kehilangan kawalan / risiko salah jajaran.
  2. Tanya apakah bukti yang akan mengubah pandangan anda tentang garis masa dan keterukan.
  3. Lebih suka sumber utama dan penilaian konkrit berbanding tuntutan pemasaran.
  4. Kenal pasti satu laluan tindakan: kerjaya, dasar, pembiayaan atau kemahiran — bukan sahaja kesedaran.

Teruskan Meneroka

Newsletter percuma

Dapatkan taklimat AI harian

Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.

Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.

Uji diri anda

Take the Amazon's Scrapped AI Recruiting Tool quiz

Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.

Mulakan kuiz

Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma

Soalan lazim

Apakah Alat Pengambilan AI Dikosongkan Amazon?

Alat pengambilan AI Amazon ialah sistem percubaan, bermula sekitar 2014, yang menilai resume pemohon pekerjaan daripada satu hingga lima bintang dengan belajar daripada sepuluh tahun resume yang lalu. Amazon meninggalkannya selepas mendapati ia menghukum resume yang berkaitan dengan wanita. Ia kini menjadi contoh standard bagaimana model yang dilatih mengenai keputusan sejarah menghasilkan semula diskriminasi masa lalu.

Data apakah model perekrutan Amazon dilatih?

Model belajar daripada kira-kira sepuluh tahun resume yang diserahkan kepada Amazon, dan kebanyakan pemohon untuk peranan teknikal adalah lelaki.

Perkataan manakah yang Reuters melaporkan model itu dihukum?

Resume yang mengandungi "wanita," seperti dalam "kapten kelab catur wanita," telah diturunkan tarafnya. "Dieksekusi" dan "ditawan" diutamakan, bukan dihukum.

Mengapakah penyuntingan model untuk mengabaikan istilah jantina tertentu gagal menyelesaikan masalah?

Menyekat beberapa perkataan tidak mengalih keluar isyarat berkorelasi yang tersebar melalui teks, jadi model masih boleh mendiskriminasi melalui proksi lain.

Apakah pengajaran utama tentang label latihan dalam kes ini?

Model itu meramalkan siapa yang telah diupah sebelum ini. Oleh kerana pengambilan pekerja yang lalu telah condong, label mengekodkan yang condong dan model mengeluarkannya semula.

Kata kerja manakah yang dilaporkan disukai oleh model itu kerana ia lebih kerap muncul pada resume lelaki?

Reuters melaporkan bahawa model itu menggemari "dilaksanakan" dan "ditangkap," yang lebih biasa pada resume lelaki, contoh ciri proksi yang halus.