SıradakiSonraki rehber
Yapay Zeka ve Patent Mucitliği: DABUS Vakaları
Toplum
Toplum REHBERİ
Amazon'nin Hurdaya Çıkarılmış Yapay Zeka İşe Alma Aracı
Amazon'nin yapay zeka işe alım aracı, 2014 civarında başlatılan, on yıllık geçmiş özgeçmişlerden öğrenerek iş başvurusunda bulunanların özgeçmişlerini bir ila beş yıldız arasında derecelendiren deneysel bir sistemdi.
Bu sayfada4 dakikalık okuma
Genel Bakış
Amazon, kadınlarla ilgili özgeçmişlerin cezalandırıldığını tespit ettikten sonra uygulamayı terk etti. Bu artık tarihsel kararlara göre eğitilen modellerin geçmiş ayrımcılığı nasıl yeniden ürettiğinin standart örneğidir.
Derin Dalış
Reuters, Ekim 2018'de Amazon'nin iş adaylarını sıralamak için bir makine öğrenme aracı geliştirdiğini ve ardından sessizce hurdaya çıkardığını bildirdi. Bir ekip 2014 yılı civarında çalışmaya başladı. Amaç, bir dizi özgeçmişi doldurmak ve en iyi birkaç adayı işe almak için geri almaktı. Modeller, on yıl boyunca şirkete sunulan özgeçmişler üzerinde eğitildi ve işe alınan kişilere hangi kalıpların uyma eğiliminde olduğunu öğrendi. Teknik rollere başvuranların çoğu erkekti, dolayısıyla modelin öğrendiği kalıplar erkek kodluydu. 2015 yılına gelindiğinde ekip, sistemin yazılım geliştiricisi ve diğer teknik işler için adayları cinsiyet ayrımı gözetmeksizin derecelendirmediğini gördü. Reuters'e göre, "kadın satranç kulübü kaptanı" gibi "kadınların" kelimesini içeren özgeçmişleri cezalandırdı ve tamamı kadınlardan oluşan iki kolejden mezun olanların notlarını düşürdü. Ayrıca erkeklerin özgeçmişlerinde daha sık görülen "idam edildi" ve "yakalandı" gibi fiiller de tercih edildi. Mühendisler modelleri bu belirli şartlara karşı tarafsız olacak şekilde düzenlediler. Bu, sistemin adayları sıralamak için aynı derecede ayrımcı olan başka yollar bulamayacağının garantisini vermiyordu. Proje desteğini kaybetti ve ekip 2017'nin başlarında dağıtıldı. Amazon, aracın işe alım görevlileri tarafından adayları değerlendirmek için hiçbir zaman kullanılmadığını söyledi. Reuters, işe alım görevlilerinin tavsiyelere baktıklarını ancak yalnızca onlara güvenmediklerini bildirdi. Temel ders, sorunun eğitim etiketi olduğudur. Model, Amazon'nin daha önce kimi işe aldığını doğru bir şekilde tahmin ediyordu ve geçmiş işe alma kararları önyargı içeriyordu. Algoritmanın kendi başına "cinsiyetçi hale geldiği" yaygın bir yanılgıdır. Aslında verilerin tam olarak neyi ödüllendirdiğini öğrendi. Bir diğeri ise cinsiyetin kaldırılmasının sorunu çözmesidir. Metin birçok ilişkili vekil içerir ve esnek bir model bunları bulacaktır. Bu dava şimdi, New York City'nin otomatik işe alım araçlarına yönelik önyargı denetim yasası ve AB AI Yasası'nın istihdam sistemlerini yüksek riskli olarak sınıflandırması da dahil olmak üzere düzenleyici tartışmalarda gündeme geliyor.
Stratejik Etki
Risk ve güvenlik
Yıkıcı ve günlük yapay zeka zararları, kimin riskleri anladığı ve kimin harekete geçebileceğine bağlıdır.
Daha net kararlar
Kamu ve profesyonel okuryazarlık, güçlü bir güvenlik politikasının politik olarak mümkün olup olmadığını şekillendirir.
Heyecanı aşmak
Açık açıklamalar abartılı reklamların, laboratuvar halkla ilişkiler uygulamalarının ve belirsiz etik tiyatrosunun etkisi altına girmeyi azaltır.
Amazon'nin Hurdaya Çıkarılan Yapay Zeka İşe Alma Aracının Geleceği
İşe alma, anahtar kelime filtrelerinden adayları özetleyen ve sıralayan büyük dil modellerine doğru ilerliyor ve bu da aynı riski daha büyük ölçekte artırıyor. Düzenleyiciler yanıt veriyor. New York City, otomatik istihdam karar araçları için önyargı denetimlerini zorunlu kılıyor ve AB Yapay Zeka Yasası, işe alım sistemlerini yüksek riskli olarak sınıflandırıyor ve yükümlülükler aşamalı olarak uygulamaya konuyor. ABD'de, Başlık VII gibi mevcut ayrımcılıkla mücadele yasası, federal kurum rehberliği değişse bile algoritmik araçlar için hala geçerlidir. Denetim yöntemleri hâlâ olgunlaşma aşamasındadır ve bir veri kümesinde başarılı bir denetim, başka yerlerde adaleti garanti etmez. Amazon vakasından alınacak kalıcı ders, bir modelin onu ne kadar iyi tahmin ettiğine güvenmeden önce neyi tahmin etmek üzere eğitildiğini sorgulamaktır.
Gerçek Dünya Uygulaması
"Kadın satranç kulübünün kaptanı" listeleyen bir özgeçmiş daha düşük puan alacaktır, çünkü eğitim verilerinde "kadınların" kelimesi işe alınan kişilerin özgeçmişlerinde nadiren yer almaktadır.
Adayları taramak için otomatik bir araç kullanan New York City'deki bir işveren, bağımsız bir önyargı denetimi yaptırmalı ve Amazon gibi davalar tarafından şekillendirilen bir gereklilik olan Yerel Kanun 144 uyarınca bir özet yayınlamalıdır.
Bir satıcı, cinsiyet alanlarını ve cinsiyete dayalı kelimeleri tarama modelinden çıkarır. Daha sonra farklı bir etki testi, hobiler veya üniversite isimleri gibi dolaylı etkenler nedeniyle kadınların hâlâ erkeklerin beşte dördünden daha az bir oranda başarılı olduğunu gösteriyor.
Bir şirket, "başarılı çalışanları" tahmin etmek için sıralama modelini yeniden eğitiyor ve etiketin kendisinin önyargılı terfi kararlarını yansıttığını buluyor. Eğitim hedefi olarak yapılandırılmış, işle ilgili beceri değerlendirmelerine geçer.
Riskler ve Korkuluklar
Yetenekleri artırırken varoluşsal riski bilim kurgu olarak ele almak.
Yüzey ürün güvenliğini yüksek özerklik altında hizalamayla karıştırmak.
İngilizce olmayan ve uzman olmayan izleyici kitlesini yalnızca düşük kaliteli kaynaklarla bırakmak.
Uygulama Yol Haritası
Ürün zararları, yanlış kullanım ve kontrol kaybı/yanlış hizalama risklerini ayırın.
Hangi kanıtların zaman çizelgeleri ve ciddiyet konusundaki görüşünüzü değiştireceğini sorun.
Pazarlama iddiaları yerine birincil kaynakları ve somut değerlendirmeleri tercih edin.
Tek bir eylem yolu belirleyin: kariyer, politika, finansman veya beceriler; yalnızca farkındalık değil.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Amazon's Scrapped AI Recruiting Tool quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Sık sorulan sorular
Amazon'nin Hurdaya Çıkarılmış Yapay Zeka İşe Alma Aracı nedir?
Amazon'nin yapay zeka işe alım aracı, 2014 civarında başlatılan, on yıllık geçmiş özgeçmişlerden öğrenerek iş başvurusunda bulunanların özgeçmişlerini bir ila beş yıldız arasında derecelendiren deneysel bir sistemdi. Amazon, kadınlarla ilgili özgeçmişlerin cezalandırıldığını tespit ettikten sonra uygulamayı terk etti. Bu artık tarihsel kararlara göre eğitilen modellerin geçmiş ayrımcılığı nasıl yeniden ürettiğinin standart örneğidir.
Amazon'nin işe alım modeli hangi veriler üzerine eğitildi?
Model, Amazon'ye gönderilen yaklaşık on yıllık özgeçmişlerden öğrenildi ve teknik rollere başvuranların çoğu erkekti.
Reuters modelin hangi kelimeyle cezalandırıldığını bildirdi?
"Kadın satranç kulübü kaptanı" gibi "kadınların" ifadesini içeren özgeçmişlerin notu düşürüldü. "İdam edildi" ve "yakalandı" cezalandırılmadı, tercih edildi.
Modeli belirli cinsiyet terimlerini göz ardı edecek şekilde düzenlemek neden sorunu çözmedi?
Birkaç kelimenin engellenmesi metin boyunca yayılan ilişkili sinyalleri ortadan kaldırmaz, dolayısıyla model yine de diğer temsili öğeler aracılığıyla ayrım yapabilir.
Bu durumda eğitim etiketiyle ilgili temel ders nedir?
Model daha önce kimin işe alındığını tahmin ediyordu. Geçmişteki işe alımlar çarpık olduğundan, etiket bu çarpıklığı kodladı ve model onu yeniden üretti.
Modelin erkeklerin özgeçmişlerinde daha sık yer aldığı için hangi fiilleri tercih ettiği bildirildi?
Reuters, modelin, erkeklerin özgeçmişlerinde daha yaygın olan "idam edilme" ve "yakalanma" durumlarını tercih ettiğini bildirdi; bu, incelikli vekalet özelliklerinin bir örneğidir.
Öğrenmeye devam et
İlgili kılavuzlar
Bu konu için daha fazla rehber seçildi