Tiếp theoHướng dẫn tiếp theo
Trí tuệ nhân tạo và phát minh bằng sáng chế: Các trường hợp DABUS
xã hội
HƯỚNG DẪN xã hội
Công cụ tuyển dụng AI bị loại bỏ của Amazon
Công cụ tuyển dụng AI của Amazon là một hệ thống thử nghiệm, bắt đầu vào khoảng năm 2014, đánh giá sơ yếu lý lịch của người xin việc từ một đến năm sao bằng cách học hỏi từ các sơ yếu lý lịch trước đây của mười năm.
Trên trang nàyđọc 4 phút
Tổng quan
Amazon đã từ bỏ nó sau khi phát hiện ra rằng nó phạt những bản lý lịch liên quan đến phụ nữ. Hiện nó là ví dụ tiêu chuẩn về cách các mô hình được đào tạo về các quyết định lịch sử tái tạo sự phân biệt đối xử trong quá khứ.
Lặn sâu
Reuters đưa tin vào tháng 10 năm 2018 rằng Amazon đã xây dựng và sau đó lặng lẽ loại bỏ một công cụ máy học để xếp hạng ứng viên xin việc. Một nhóm bắt đầu công việc này vào khoảng năm 2014. Mục tiêu là cung cấp một chồng hồ sơ lý lịch và lấy lại một số ứng viên hàng đầu để tuyển dụng. Những người mẫu này đã được đào tạo về các bản lý lịch nộp cho công ty trong hơn mười năm và học được những mẫu lý lịch nào có xu hướng phù hợp với những người được tuyển dụng. Hầu hết những người nộp đơn cho vai trò kỹ thuật đều là nam giới, vì vậy các mẫu mà người mẫu học được đều được mã hóa cho nam giới. Đến năm 2015, nhóm nhận thấy hệ thống không xếp hạng ứng viên cho vị trí nhà phát triển phần mềm và các công việc kỹ thuật khác theo cách trung lập về giới tính. Theo Reuters, họ đã phạt những bản lý lịch có chứa từ "phụ nữ", giống như "đội trưởng câu lạc bộ cờ vua nữ" và hạ cấp sinh viên tốt nghiệp của hai trường đại học toàn nữ. Nó cũng ưa chuộng những động từ như “bị hành quyết” và “bị bắt”, những động từ này xuất hiện thường xuyên hơn trong lý lịch của nam giới. Các kỹ sư đã chỉnh sửa các mô hình để trung lập với các điều khoản cụ thể đó. Điều đó không đảm bảo rằng hệ thống sẽ không tìm ra những cách khác để sắp xếp những ứng viên mang tính phân biệt đối xử. Dự án mất đi sự hỗ trợ và nhóm đã giải tán vào đầu năm 2017. Amazon cho biết công cụ này chưa bao giờ được các nhà tuyển dụng sử dụng để đánh giá ứng viên. Reuters đưa tin rằng các nhà tuyển dụng đã xem xét các đề xuất của họ nhưng không chỉ dựa vào chúng. Bài học quan trọng là nhãn đào tạo chính là vấn đề. Mô hình đã dự đoán chính xác người mà Amazon đã thuê trước đây và những quyết định tuyển dụng trước đây đó có chứa thành kiến. Một quan niệm sai lầm phổ biến là thuật toán tự nó đã "trở thành phân biệt giới tính". Trong thực tế, nó đã học được chính xác những gì dữ liệu khen thưởng. Một điều nữa là việc loại bỏ giới tính sẽ khắc phục được vấn đề. Văn bản chứa nhiều proxy tương quan và một mô hình linh hoạt sẽ tìm thấy chúng. Vụ việc hiện đang xuất hiện trong các cuộc tranh luận về quy định, bao gồm luật kiểm toán thiên vị của Thành phố New York đối với các công cụ tuyển dụng tự động và việc Đạo luật AI của EU phân loại hệ thống việc làm là có rủi ro cao.
Tác động chiến lược
Rủi ro và an toàn
Những tác hại thảm khốc và thường ngày của AI đều phụ thuộc vào việc ai hiểu được rủi ro và ai có thể hành động.
Quyết định rõ ràng hơn
Kiến thức công cộng và chuyên môn định hình liệu chính sách an toàn mạnh mẽ có khả thi về mặt chính trị hay không.
Phá vỡ sự thổi phồng
Những lời giải thích rõ ràng làm giảm sự thu hút bởi sự cường điệu, PR trong phòng thí nghiệm và sân khấu đạo đức mơ hồ.
Tương lai của Công cụ tuyển dụng AI bị loại bỏ của Amazon
Tuyển dụng đang chuyển từ bộ lọc từ khóa sang mô hình ngôn ngữ lớn để tóm tắt và xếp hạng ứng viên, đồng thời điều này làm tăng rủi ro tương tự ở quy mô lớn hơn. Cơ quan quản lý đang phản hồi. Thành phố New York yêu cầu kiểm tra thiên vị đối với các công cụ quyết định việc làm tự động và Đạo luật AI của EU phân loại các hệ thống tuyển dụng là có rủi ro cao, với các nghĩa vụ được thực hiện theo từng giai đoạn. Tại Hoa Kỳ, luật chống phân biệt đối xử hiện hành như Tiêu đề VII vẫn áp dụng cho các công cụ thuật toán, ngay cả khi hướng dẫn của cơ quan liên bang đã thay đổi. Các phương pháp kiểm tra vẫn đang hoàn thiện và việc kiểm tra vượt qua một tập dữ liệu không đảm bảo tính công bằng ở những nơi khác. Bài học lâu dài của trường hợp Amazon là đặt câu hỏi về những gì một mô hình được đào tạo để dự đoán trước khi tin tưởng vào mức độ dự đoán của nó.
Triển khai trong thế giới thực
Một bản lý lịch liệt kê “đội trưởng câu lạc bộ cờ vua nữ” sẽ có điểm thấp hơn, bởi vì trong dữ liệu đào tạo, từ “phụ nữ” hiếm khi xuất hiện trong bản lý lịch của những người được tuyển dụng.
Nhà tuyển dụng ở Thành phố New York sử dụng công cụ tự động để sàng lọc ứng viên phải thực hiện kiểm toán thiên vị độc lập và xuất bản bản tóm tắt theo Luật Địa phương 144, một yêu cầu được đặt ra trong các trường hợp như Amazon.
Nhà cung cấp loại bỏ các trường giới tính và các từ được giới tính khỏi mô hình sàng lọc. Một cuộc kiểm tra tác động khác nhau sau đó cho thấy phụ nữ vẫn đậu với tỷ lệ dưới 4/5 so với nam giới, vì những yếu tố thay thế như sở thích hoặc tên trường đại học.
Một công ty đào tạo lại mô hình xếp hạng để dự đoán "nhân viên thành công" và nhận thấy rằng bản thân cái nhãn này phản ánh các quyết định thăng tiến thiên vị. Nó chuyển sang đánh giá các kỹ năng có cấu trúc, liên quan đến công việc làm mục tiêu đào tạo.
Rủi ro & lan can
Xử lý rủi ro hiện hữu như khoa học viễn tưởng trong khi khả năng lại phức tạp.
Nhầm lẫn giữa an toàn sản phẩm bề mặt với sự liên kết dưới quyền tự chủ cao.
Chỉ để lại những khán giả không phải người Anh và không có chuyên môn với những nguồn chất lượng thấp.
Lộ trình thực hiện
Tách biệt các tác hại của sản phẩm, sử dụng sai và rủi ro mất kiểm soát/sai lệch.
Hỏi bằng chứng nào sẽ thay đổi quan điểm của bạn về thời gian và mức độ nghiêm trọng.
Ưu tiên các nguồn chính và đánh giá cụ thể hơn các tuyên bố tiếp thị.
Xác định một lộ trình hành động: sự nghiệp, chính sách, nguồn tài trợ hoặc kỹ năng - không chỉ là nhận thức.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Amazon's Scrapped AI Recruiting Tool quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Câu hỏi thường gặp
Công cụ tuyển dụng AI bị loại bỏ của Amazon là gì?
Công cụ tuyển dụng AI của Amazon là một hệ thống thử nghiệm, bắt đầu vào khoảng năm 2014, đánh giá sơ yếu lý lịch của người xin việc từ một đến năm sao bằng cách học hỏi từ các sơ yếu lý lịch trước đây của mười năm. Amazon đã từ bỏ nó sau khi phát hiện ra rằng nó phạt những bản lý lịch liên quan đến phụ nữ. Hiện nó là ví dụ tiêu chuẩn về cách các mô hình được đào tạo về các quyết định lịch sử tái tạo sự phân biệt đối xử trong quá khứ.
Mô hình tuyển dụng của Amazon được đào tạo dựa trên dữ liệu nào?
Mô hình này đã học được từ các bản lý lịch được gửi tới Amazon trong khoảng mười năm và hầu hết những người nộp đơn cho các vai trò kỹ thuật đều là nam giới.
Reuters đưa tin người mẫu bị phạt từ nào?
Những hồ sơ có nội dung "của nữ", chẳng hạn như "đội trưởng câu lạc bộ cờ vua của nữ", đã bị hạ cấp. “Thi hành án” và “bắt giữ” được ưu ái chứ không bị trừng phạt.
Tại sao việc chỉnh sửa mô hình để bỏ qua các thuật ngữ giới tính cụ thể lại không giải quyết được vấn đề?
Việc chặn một vài từ không loại bỏ các tín hiệu tương quan lan truyền trong văn bản, do đó mô hình vẫn có thể phân biệt đối xử thông qua các proxy khác.
Bài học trọng tâm về nhãn đào tạo trong trường hợp này là gì?
Người mẫu dự đoán ai đã được thuê trước đó. Bởi vì việc tuyển dụng trước đây bị sai lệch nên nhãn đã mã hóa độ lệch đó và mô hình đã sao chép nó.
Theo báo cáo, động từ nào được người mẫu ưa thích vì chúng xuất hiện thường xuyên hơn trong lý lịch của nam giới?
Reuters đưa tin rằng mô hình này thiên về "bị hành quyết" và "bị bắt", những từ phổ biến hơn trong lý lịch của nam giới, một ví dụ về các đặc điểm ủy quyền tinh vi.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này