คู่มือสังคม
เครื่องมือสรรหา AI ที่ถูกทิ้งของ Amazon
Amazon's AI recruiting tool was an experimental system, begun around 2014, that rated job applicants' résumés from one to five stars by learning from ten years of past résumés.
ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min
บนหน้านี้อ่าน 4 นาที
ภาพรวม
Amazon abandoned it after finding that it penalized résumés associated with women. It is now the standard example of how models trained on historical decisions reproduce past discrimination.
เจาะลึก
Reuters reported in October 2018 that Amazon had built, and then quietly scrapped, a machine learning tool for ranking job candidates. A team began the work around 2014. The goal was to feed in a stack of résumés and get back the top few candidates to hire. The models were trained on résumés submitted to the company over ten years and learned which patterns tended to go with people who were hired. Most applicants for technical roles were men, so the patterns the model learned were male-coded. By 2015, the team saw that the system was not rating candidates for software developer and other technical jobs in a gender-neutral way. According to Reuters, it penalized résumés containing the word "women's," as in "women's chess club captain," and downgraded graduates of two all-women's colleges. It also favored verbs such as "executed" and "captured," which appeared more often on men's résumés. Engineers edited the models to be neutral to those particular terms. That gave no guarantee the system would not find other ways to sort candidates that were just as discriminatory. The project lost support and the team was disbanded by early 2017. Amazon said the tool was never used by its recruiters to evaluate candidates. Reuters reported that recruiters looked at its recommendations but did not rely on them alone. The key lesson is that the training label was the problem. The model accurately predicted whom Amazon had hired before, and those past hiring decisions contained bias. A common misconception is that the algorithm "became sexist" on its own. In fact it learned exactly what the data rewarded. Another is that removing gender fixes the problem. Text contains many correlated proxies, and a flexible model will find them. The case now comes up in regulatory debates, including New York City's bias audit law for automated hiring tools and the EU AI Act's classification of employment systems as high risk.
การใช้งานจริงในโลกแห่งความเป็นจริง
A résumé listing "captain of the women's chess club" would score lower, because in the training data the word "women's" rarely appeared on the résumés of people who were hired.
นายจ้างในเมืองนิวยอร์กที่ใช้เครื่องมืออัตโนมัติเพื่อคัดกรองผู้สมัครต้องจัดทำการตรวจสอบอคติอย่างอิสระและเผยแพร่สรุปตามกฎหมายท้องถิ่น 144 ซึ่งเป็นข้อกำหนดที่ได้มาจากคดีเช่น Amazon's
ผู้ขายตัดช่องข้อมูลเพศและคำที่แยกเพศออกจากแบบจำลองการคัดกรอง การทดสอบแรงกระแทกที่แตกต่างกันแสดงให้เห็นว่าผู้หญิงยังคงผ่านในอัตราต่ำกว่าสี่ในห้าของผู้ชาย เนื่องจากผู้รับมอบฉันทะ เช่น งานอดิเรกหรือชื่อวิทยาลัย
บริษัทแห่งหนึ่งฝึกอบรมโมเดลการจัดอันดับใหม่เพื่อคาดการณ์ "พนักงานที่ประสบความสำเร็จ" และพบว่าป้ายดังกล่าวสะท้อนถึงการตัดสินใจเลื่อนตำแหน่งที่มีอคติ โดยจะเปลี่ยนไปใช้การประเมินทักษะที่มีโครงสร้างและเกี่ยวข้องกับงานเป็นเป้าหมายการฝึกอบรม
อนาคตของเครื่องมือการสรรหา AI ที่ถูกทิ้งร้างของ Amazon
การจ้างงานกำลังย้ายจากตัวกรองคำหลักไปเป็นโมเดลภาษาขนาดใหญ่ที่สรุปและจัดอันดับผู้สมัคร และทำให้เกิดความเสี่ยงเดียวกันในขนาดที่ใหญ่ขึ้น หน่วยงานกำกับดูแลกำลังตอบสนอง เมืองนิวยอร์กกำหนดให้มีการตรวจสอบอคติสำหรับเครื่องมือการตัดสินใจจ้างงานโดยอัตโนมัติ และพระราชบัญญัติ AI ของสหภาพยุโรปจัดประเภทระบบการจัดหางานว่ามีความเสี่ยงสูง โดยมีภาระผูกพันที่ค่อยๆ มีผลบังคับใช้ ในสหรัฐอเมริกา กฎหมายต่อต้านการเลือกปฏิบัติที่มีอยู่ เช่น หัวข้อที่ 7 ยังคงนำไปใช้กับเครื่องมืออัลกอริทึม แม้ว่าคำแนะนำของหน่วยงานรัฐบาลกลางจะเปลี่ยนไปก็ตาม วิธีการตรวจสอบยังอยู่ในช่วงเริ่มต้น และการผ่านการตรวจสอบชุดข้อมูลชุดหนึ่งไม่ได้รับประกันความเป็นธรรมในที่อื่น บทเรียนสุดท้ายของกรณี Amazon คือการตั้งคำถามว่าแบบจำลองใดได้รับการฝึกฝนให้คาดการณ์ก่อนที่จะเชื่อใจว่าแบบจำลองนั้นคาดการณ์ได้ดีเพียงใด
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ความเสี่ยงและความปลอดภัย. ความเสียหายที่เกิดจาก AI ที่เป็นหายนะและเกิดขึ้นทุกวันนั้นขึ้นอยู่กับว่าใครเข้าใจความเสี่ยงและใครสามารถดำเนินการได้
- การตัดสินใจที่ชัดเจนยิ่งขึ้น. ความรู้สาธารณะและวิชาชีพเป็นตัวกำหนดว่านโยบายความปลอดภัยที่เข้มงวดจะเป็นไปได้ทางการเมืองหรือไม่
- ตัดผ่านกระแสโฆษณาชวนเชื่อ. คำอธิบายที่ชัดเจนช่วยลดการจับภาพโดยการโฆษณาเกินจริง การประชาสัมพันธ์ในห้องปฏิบัติการ และการแสดงจริยธรรมที่คลุมเครือ
ระวัง
- การรักษาความเสี่ยงที่มีอยู่เป็นไซไฟในขณะที่สารประกอบความสามารถ
- ความปลอดภัยของผลิตภัณฑ์พื้นผิวที่สับสนด้วยการจัดตำแหน่งภายใต้ความเป็นอิสระสูง
- ปล่อยให้ผู้ชมที่ไม่ใช่ภาษาอังกฤษและไม่ใช่ผู้เชี่ยวชาญเหลือเพียงแหล่งข้อมูลคุณภาพต่ำ
ขั้นตอนต่อไป
- แยกอันตรายของผลิตภัณฑ์ การใช้ในทางที่ผิด และความเสี่ยงในการสูญเสียการควบคุม/การวางแนวที่ไม่ถูกต้อง
- ถามว่าหลักฐานใดที่จะเปลี่ยนมุมมองของคุณเกี่ยวกับลำดับเวลาและความรุนแรง
- ชอบแหล่งที่มาหลักและการประเมินที่เป็นรูปธรรมมากกว่าคำกล่าวอ้างทางการตลาด
- ระบุเส้นทางการดำเนินการเส้นทางเดียว: อาชีพ นโยบาย เงินทุน หรือทักษะ ไม่ใช่แค่ความตระหนักรู้เท่านั้น
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ทำแบบทดสอบ Scrapped AI Recruiting Tool ของ Amazon
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
เครื่องมือสรรหา Scrapped AI ของ Amazon คืออะไร
Amazon's AI recruiting tool was an experimental system, begun around 2014, that rated job applicants' résumés from one to five stars by learning from ten years of past résumés. Amazon abandoned it after finding that it penalized résumés associated with women. It is now the standard example of how models trained on historical decisions reproduce past discrimination.
โมเดลการสรรหาบุคลากรของ Amazon ได้รับการฝึกอบรมโดยใช้ข้อมูลใด
The model learned from about ten years of résumés submitted to Amazon, and most applicants for technical roles were men.
สำนักข่าวรอยเตอร์รายงานว่าโมเดลดังกล่าวถูกลงโทษด้วยคำใด
Résumés containing "women's," as in "women's chess club captain," were downgraded. "Executed" and "captured" were favored, not penalized.
เหตุใดการแก้ไขแบบจำลองให้ละเว้นคำเฉพาะเรื่องเพศจึงไม่สามารถแก้ปัญหาได้
การบล็อกคำบางคำไม่ได้ลบสัญญาณที่สัมพันธ์กันที่แพร่กระจายผ่านข้อความ ดังนั้นโมเดลจึงยังสามารถแยกแยะผ่านพร็อกซีอื่นๆ ได้
บทเรียนสำคัญเกี่ยวกับป้ายกำกับการฝึกอบรมในกรณีนี้คืออะไร
แบบจำลองทำนายว่าใครเคยได้รับการว่าจ้างมาก่อน เนื่องจากการจ้างงานในอดีตมีความเบี่ยงเบน ป้ายจึงเข้ารหัสส่วนที่เอียงและแบบจำลองก็ทำซ้ำ
Which verbs did the model reportedly favor because they appeared more often on men's résumés?
Reuters reported that the model favored "executed" and "captured," which were more common on men's résumés, an example of subtle proxy features.
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้