РУКОВОДСТВО ПО ОБЩЕСТВУ

Утилизированный инструмент для подбора искусственного интеллекта от Amazon

Amazon's AI recruiting tool was an experimental system, begun around 2014, that rated job applicants' résumés from one to five stars by learning from ten years of past résumés.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице4 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. The Future of Amazon's Scrapped AI Recruiting Tool
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Amazon abandoned it after finding that it penalized résumés associated with women. It is now the standard example of how models trained on historical decisions reproduce past discrimination.

Глубокое погружение

Reuters reported in October 2018 that Amazon had built, and then quietly scrapped, a machine learning tool for ranking job candidates. A team began the work around 2014. The goal was to feed in a stack of résumés and get back the top few candidates to hire. The models were trained on résumés submitted to the company over ten years and learned which patterns tended to go with people who were hired. Most applicants for technical roles were men, so the patterns the model learned were male-coded. By 2015, the team saw that the system was not rating candidates for software developer and other technical jobs in a gender-neutral way. According to Reuters, it penalized résumés containing the word "women's," as in "women's chess club captain," and downgraded graduates of two all-women's colleges. It also favored verbs such as "executed" and "captured," which appeared more often on men's résumés. Engineers edited the models to be neutral to those particular terms. That gave no guarantee the system would not find other ways to sort candidates that were just as discriminatory. The project lost support and the team was disbanded by early 2017. Amazon said the tool was never used by its recruiters to evaluate candidates. Reuters reported that recruiters looked at its recommendations but did not rely on them alone. The key lesson is that the training label was the problem. The model accurately predicted whom Amazon had hired before, and those past hiring decisions contained bias. A common misconception is that the algorithm "became sexist" on its own. In fact it learned exactly what the data rewarded. Another is that removing gender fixes the problem. Text contains many correlated proxies, and a flexible model will find them. The case now comes up in regulatory debates, including New York City's bias audit law for automated hiring tools and the EU AI Act's classification of employment systems as high risk.

Реальная реализация

A résumé listing "captain of the women's chess club" would score lower, because in the training data the word "women's" rarely appeared on the résumés of people who were hired.

An employer in New York City using an automated tool to screen candidates must commission an independent bias audit and publish a summary under Local Law 144, a requirement shaped by cases like Amazon's.

A vendor strips gender fields and gendered words from a screening model. A disparate impact test then shows women still pass at under four-fifths the rate of men, because of proxies such as hobbies or college names.

A company retrains a ranking model to predict "successful employees" and finds that the label itself reflects biased promotion decisions. It switches to structured, job-related skills assessments as the training target.

The Future of Amazon's Scrapped AI Recruiting Tool

Hiring is moving from keyword filters to large language models that summarize and rank candidates, and this raises the same risk at larger scale. Regulators are responding. New York City requires bias audits for automated employment decision tools, and the EU AI Act classifies recruitment systems as high risk, with obligations being phased in. In the US, existing anti-discrimination law such as Title VII still applies to algorithmic tools, even as federal agency guidance has shifted. Audit methods are still maturing, and a passing audit on one dataset does not guarantee fairness elsewhere. The lasting lesson of the Amazon case is to question what a model is trained to predict before trusting how well it predicts it.

Применение на практике

Почему это важно

  • Риски и безопасность. Катастрофический и повседневный вред ИИ зависит от того, кто понимает риски и может действовать.
  • Более четкие решения. Общественная и профессиональная грамотность определяет, возможна ли с политической точки зрения сильная политика безопасности.
  • Пробивая шумиху. Четкие объяснения уменьшают влияние шумихи, лабораторного пиара и расплывчатого этического театра.

Следите за

  • Относитесь к экзистенциальному риску как к научной фантастике, в то время как возможности растут.
  • Сбивает с толку безопасность поверхности продукта и выравнивание при высокой автономности.
  • Оставляя неанглоязычную и неспециалистскую аудиторию только с некачественными источниками.

Следующие шаги

  1. Отдельные риски повреждения продукта, неправильного использования и потери контроля/перекоса.
  2. Спросите, какие доказательства могут изменить ваше мнение о сроках и серьезности.
  3. Предпочитайте первоисточники и конкретные оценки маркетинговым заявлениям.
  4. Определите один путь действий: карьера, политика, финансирование или навыки, а не только осведомленность.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the Amazon's Scrapped AI Recruiting Tool quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

What is Amazon's Scrapped AI Recruiting Tool?

Amazon's AI recruiting tool was an experimental system, begun around 2014, that rated job applicants' résumés from one to five stars by learning from ten years of past résumés. Amazon abandoned it after finding that it penalized résumés associated with women. It is now the standard example of how models trained on historical decisions reproduce past discrimination.

На каких данных обучалась модель рекрутинга Amazon?

Модель училась на основании резюме, отправленных на Amazon за десять лет, и большинство претендентов на технические должности были мужчинами.

За какое слово Reuters сообщило, что модель оштрафована?

Резюме, содержащие слова «женские», например «капитан женского шахматного клуба», были понижены в рейтинге. «Казненные» и «захваченные» отдавались предпочтение, а не наказывались.

Почему редактирование модели с целью игнорирования конкретных гендерных терминов не помогло решить проблему?

Блокировка нескольких слов не удаляет коррелированные сигналы, распространяющиеся по тексту, поэтому модель все равно может различать другие прокси.

Каков главный урок, связанный с ярлыком обучения в этом случае?

Модель предсказала, кто был нанят раньше. Поскольку прошлый прием на работу был искажен, лейбл закодировал этот перекос, а модель воспроизвела его.

Какие глаголы, как сообщается, предпочитала модель, потому что они чаще появлялись в мужских резюме?

Агентство Reuters сообщило, что модель отдает предпочтение словам «выполнен» и «захвачен», которые чаще встречаются в мужских резюме, что является примером тонких прокси-функций.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →