Tiếp theoHướng dẫn tiếp theo
Trường hợp thiên vị cắt xén hình ảnh của Twitter
Công ty
HƯỚNG DẪN xã hội
Công cụ tuyển dụng AI của Amazon là một hệ thống thử nghiệm, bắt đầu vào khoảng năm 2014, đánh giá sơ yếu lý lịch của người xin việc từ một đến năm sao bằng cách học hỏi từ các sơ yếu lý lịch trước đây của mười năm.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Amazon đã từ bỏ nó sau khi phát hiện ra rằng nó phạt những bản lý lịch liên quan đến phụ nữ. Hiện nó là ví dụ tiêu chuẩn về cách các mô hình được đào tạo về các quyết định lịch sử tái tạo sự phân biệt đối xử trong quá khứ.
Reuters đưa tin vào tháng 10 năm 2018 rằng Amazon đã xây dựng và sau đó lặng lẽ loại bỏ một công cụ máy học để xếp hạng ứng viên xin việc. Một nhóm bắt đầu công việc này vào khoảng năm 2014. Mục tiêu là cung cấp một chồng hồ sơ lý lịch và lấy lại một số ứng viên hàng đầu để tuyển dụng. Những người mẫu này đã được đào tạo về các bản lý lịch nộp cho công ty trong hơn mười năm và học được những mẫu lý lịch nào có xu hướng phù hợp với những người được tuyển dụng. Hầu hết những người nộp đơn cho vai trò kỹ thuật đều là nam giới, vì vậy các mẫu mà người mẫu học được đều được mã hóa cho nam giới. Đến năm 2015, nhóm nhận thấy hệ thống không xếp hạng ứng viên cho vị trí nhà phát triển phần mềm và các công việc kỹ thuật khác theo cách trung lập về giới tính. Theo Reuters, họ đã phạt những bản lý lịch có chứa từ "phụ nữ", giống như "đội trưởng câu lạc bộ cờ vua nữ" và hạ cấp sinh viên tốt nghiệp của hai trường đại học toàn nữ. Nó cũng ưa chuộng những động từ như “bị hành quyết” và “bị bắt”, những động từ này xuất hiện thường xuyên hơn trong lý lịch của nam giới. Các kỹ sư đã chỉnh sửa các mô hình để trung lập với các điều khoản cụ thể đó. Điều đó không đảm bảo rằng hệ thống sẽ không tìm ra những cách khác để sắp xếp những ứng viên mang tính phân biệt đối xử. Dự án mất đi sự hỗ trợ và nhóm đã giải tán vào đầu năm 2017. Amazon cho biết công cụ này chưa bao giờ được các nhà tuyển dụng sử dụng để đánh giá ứng viên. Reuters đưa tin rằng các nhà tuyển dụng đã xem xét các đề xuất của họ nhưng không chỉ dựa vào chúng. Bài học quan trọng là nhãn đào tạo chính là vấn đề. Mô hình đã dự đoán chính xác người mà Amazon đã thuê trước đây và những quyết định tuyển dụng trước đây đó có chứa thành kiến. Một quan niệm sai lầm phổ biến là thuật toán tự nó đã "trở thành phân biệt giới tính". Trong thực tế, nó đã học được chính xác những gì dữ liệu khen thưởng. Một điều nữa là việc loại bỏ giới tính sẽ khắc phục được vấn đề. Văn bản chứa nhiều proxy tương quan và một mô hình linh hoạt sẽ tìm thấy chúng. Vụ việc hiện đang xuất hiện trong các cuộc tranh luận về quy định, bao gồm luật kiểm toán thiên vị của Thành phố New York đối với các công cụ tuyển dụng tự động và việc Đạo luật AI của EU phân loại hệ thống việc làm là có rủi ro cao.
Một bản lý lịch liệt kê “đội trưởng câu lạc bộ cờ vua nữ” sẽ có điểm thấp hơn, bởi vì trong dữ liệu đào tạo, từ “phụ nữ” hiếm khi xuất hiện trong bản lý lịch của những người được tuyển dụng.
Nhà tuyển dụng ở Thành phố New York sử dụng công cụ tự động để sàng lọc ứng viên phải thực hiện kiểm toán thiên vị độc lập và xuất bản bản tóm tắt theo Luật Địa phương 144, một yêu cầu được đặt ra trong các trường hợp như Amazon.
Nhà cung cấp loại bỏ các trường giới tính và các từ được giới tính khỏi mô hình sàng lọc. Một cuộc kiểm tra tác động khác nhau sau đó cho thấy phụ nữ vẫn đậu với tỷ lệ dưới 4/5 so với nam giới, vì những yếu tố thay thế như sở thích hoặc tên trường đại học.
Một công ty đào tạo lại mô hình xếp hạng để dự đoán "nhân viên thành công" và nhận thấy rằng bản thân cái nhãn này phản ánh các quyết định thăng tiến thiên vị. Nó chuyển sang đánh giá các kỹ năng có cấu trúc, liên quan đến công việc làm mục tiêu đào tạo.
Tuyển dụng đang chuyển từ bộ lọc từ khóa sang mô hình ngôn ngữ lớn để tóm tắt và xếp hạng ứng viên, đồng thời điều này làm tăng rủi ro tương tự ở quy mô lớn hơn. Cơ quan quản lý đang phản hồi. Thành phố New York yêu cầu kiểm tra thiên vị đối với các công cụ quyết định việc làm tự động và Đạo luật AI của EU phân loại các hệ thống tuyển dụng là có rủi ro cao, với các nghĩa vụ được thực hiện theo từng giai đoạn. Tại Hoa Kỳ, luật chống phân biệt đối xử hiện hành như Tiêu đề VII vẫn áp dụng cho các công cụ thuật toán, ngay cả khi hướng dẫn của cơ quan liên bang đã thay đổi. Các phương pháp kiểm tra vẫn đang hoàn thiện và việc kiểm tra vượt qua một tập dữ liệu không đảm bảo tính công bằng ở những nơi khác. Bài học lâu dài của trường hợp Amazon là đặt câu hỏi về những gì một mô hình được đào tạo để dự đoán trước khi tin tưởng vào mức độ dự đoán của nó.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Công cụ tuyển dụng AI của Amazon là một hệ thống thử nghiệm, bắt đầu vào khoảng năm 2014, đánh giá sơ yếu lý lịch của người xin việc từ một đến năm sao bằng cách học hỏi từ các sơ yếu lý lịch trước đây của mười năm. Amazon đã từ bỏ nó sau khi phát hiện ra rằng nó phạt những bản lý lịch liên quan đến phụ nữ. Hiện nó là ví dụ tiêu chuẩn về cách các mô hình được đào tạo về các quyết định lịch sử tái tạo sự phân biệt đối xử trong quá khứ.
Mô hình này đã học được từ các bản lý lịch được gửi tới Amazon trong khoảng mười năm và hầu hết những người nộp đơn cho các vai trò kỹ thuật đều là nam giới.
Những hồ sơ có nội dung "của nữ", chẳng hạn như "đội trưởng câu lạc bộ cờ vua của nữ", đã bị hạ cấp. “Thi hành án” và “bắt giữ” được ưu ái chứ không bị trừng phạt.
Việc chặn một vài từ không loại bỏ các tín hiệu tương quan lan truyền trong văn bản, do đó mô hình vẫn có thể phân biệt đối xử thông qua các proxy khác.
Người mẫu dự đoán ai đã được thuê trước đó. Bởi vì việc tuyển dụng trước đây bị sai lệch nên nhãn đã mã hóa độ lệch đó và mô hình đã sao chép nó.
Reuters đưa tin rằng mô hình này thiên về "bị hành quyết" và "bị bắt", những từ phổ biến hơn trong lý lịch của nam giới, một ví dụ về các đặc điểm ủy quyền tinh vi.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Trường hợp thiên vị cắt xén hình ảnh của Twitter
Công ty