ДалееСледующее руководство
Гендерные оттенки и аудит предвзятости распознавания лиц
Общество
РУКОВОДСТВО ПО ОБЩЕСТВУ
КОМПАС и предвзятость в алгоритмах рецидивизма
COMPAS (Профилирование исправительных правонарушителей для альтернативных санкций) — это коммерческий инструмент оценки рисков от Northpointe, ныне Equivant, который оценивает вероятность повторного совершения обвиняемым преступления.
На этой странице4 минуты чтения
Обзор
Он стал центральным примером алгоритмической справедливости после того, как расследование ProPublica, проведенное в 2016 году, показало, что количество ошибок в нем распределялось неравномерно в зависимости от расы. Последовавшие за этим дебаты показали, что общие определения справедливости могут математически противоречить.
Глубокое погружение
В мае 2016 года ProPublica опубликовала статью «Машинная предвзятость». Он проанализировал показатели COMPAS примерно 7000 человек, арестованных в округе Бровард, штат Флорида, в 2013 и 2014 годах, и проверил, кому были предъявлены обвинения в новом преступлении в течение двух лет. Расовая принадлежность не является входными данными для КОМПАС, который использует криминальную историю и анкету. Несмотря на это, ProPublica обнаружила, что среди людей, которые не совершали повторных преступлений, чернокожие обвиняемые почти в два раза чаще, чем белые обвиняемые, попадали в группу повышенного риска. Среди людей, совершивших повторное преступление, белые обвиняемые чаще относились к группе низкого риска. Проще говоря, уровень ложноположительных результатов был выше у чернокожих обвиняемых, а уровень ложноотрицательных результатов был выше у белых обвиняемых. ProPublica также сообщила, что общая точность была скромной — около 60 процентов. Нортпойнт ответил, что этот инструмент справедлив по другим стандартам. На каждом уровне баллов чернокожие и белые обвиняемые совершали повторные правонарушения с одинаковой частотой, поэтому определенный балл означал одно и то же независимо от расы. Это свойство называется калибровкой или прогнозирующей четностью. Цифры каждой стороны были в основном верными. Затем исследователи показали, почему оба могут быть правы. Джон Кляйнберг, Сендхил Муллайнатан и Маниш Рагхаван, а также отдельно Александра Чоулдехова доказали, что, когда две группы имеют разные базовые показатели результата, балл не может быть откалиброван, а также имеют одинаковые уровни ложноположительных и ложноотрицательных результатов в группах. Единственное исключение — идеальный предсказатель. Таким образом, выбор определения справедливости – это оценочное суждение, а не техническая деталь. В деле «Стейт против Лумиса» (2016 г.) Верховный суд штата Висконсин разрешил судьям учитывать COMPAS при вынесении приговора. Он постановил, что счет не может быть решающим фактором, и потребовал вынести ему письменное предупреждение. Исследование, проведенное в Дартмуте в 2018 году Джулией Дрессел и Хани Фаридом, показало, что неподготовленные онлайн-добровольцы предсказывали повторный арест примерно так же точно, как COMPAS. Распространенным заблуждением является то, что исключение расовой принадлежности устраняет предвзятость. Связанные данные, такие как предыдущие аресты, могут учитывать исторические модели работы полиции.
Стратегическое воздействие
Риски и безопасность
Катастрофический и повседневный вред ИИ зависит от того, кто понимает риски и может действовать.
Более четкие решения
Общественная и профессиональная грамотность определяет, возможна ли с политической точки зрения сильная политика безопасности.
Пробивая шумиху
Четкие объяснения уменьшают влияние шумихи, лабораторного пиара и расплывчатого этического театра.
Будущее COMPAS и предвзятость в алгоритмах рецидивизма
Инструменты оценки рисков до сих пор используются во многих учреждениях предварительного заключения и вынесения приговоров в США, и дебаты продолжаются. Некоторые реформаторские группы считают их более последовательными, чем суждения без посторонней помощи, в то время как другие утверждают, что они закрепляют историческую предвзятость. Вероятные изменения включают требования к местной проверке, публичную отчетность о частоте ошибок по группам и доступ ответчиков к тому, как выставляются оценки, хотя темпы варьируются в зависимости от юрисдикции. Результат невозможности теперь является стандартной частью преподавания справедливости и формирует проверки в сфере найма, кредитования и здравоохранения. Не указано, какое определение использовать. Это остается политическим выбором относительно того, какие ошибки общество более готово принять.
Реальная реализация
В округе, где используется КОМПАС, сотрудник предварительного следствия объединяет ответы обвиняемого на анкету с его криминальным прошлым. Результатом является набор децилей от 1 до 10, который отображается в отчете, отправленном судье.
После дела «Стейт против Лумиса» судья из Висконсина, получивший отчет COMPAS, также получил письменные предупреждения. Они предупреждают, что метод является запатентованным, что оценки описывают группы, а не отдельных лиц, и что поднимаются вопросы о расовом неравенстве.
Специалист по данным, проверяющий модель кредитования, рассчитывает как калибровочные, так и ложноположительные показатели для каждой группы. Как и в случае с КОМПАС, выравнивание одного нарушает другое, поскольку базовые ставки групп различаются.
Исследователи, следившие за исследованием в Дартмуте в 2018 году, показывают, что простая модель, использующая только возраст и количество предыдущих судимостей, предсказывает повторное арест примерно с той же точностью, что и полный показатель COMPAS.
Риски и ограничения
Относитесь к экзистенциальному риску как к научной фантастике, в то время как возможности растут.
Сбивает с толку безопасность поверхности продукта и выравнивание при высокой автономности.
Оставляя неанглоязычную и неспециалистскую аудиторию только с некачественными источниками.
Дорожная карта реализации
Отдельные риски повреждения продукта, неправильного использования и потери контроля/перекоса.
Спросите, какие доказательства могут изменить ваше мнение о сроках и серьезности.
Предпочитайте первоисточники и конкретные оценки маркетинговым заявлениям.
Определите один путь действий: карьера, политика, финансирование или навыки, а не только осведомленность.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the COMPAS and Bias in Recidivism Algorithms quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Часто задаваемые вопросы
Что такое COMPAS и предвзятость в алгоритмах рецидивизма?
COMPAS (Профилирование исправительных правонарушителей для альтернативных санкций) — это коммерческий инструмент оценки рисков от Northpointe, ныне Equivant, который оценивает вероятность повторного совершения обвиняемым преступления. Он стал центральным примером алгоритмической справедливости после того, как расследование ProPublica, проведенное в 2016 году, показало, что количество ошибок в нем распределялось неравномерно в зависимости от расы. Последовавшие за этим дебаты показали, что общие определения справедливости могут математически противоречить.
Что ProPublica обнаружила среди обвиняемых, которые НЕ совершили повторное преступление, в отношении чернокожих обвиняемых по сравнению с белыми обвиняемыми?
ProPublica обнаружила более высокий уровень ложноположительных результатов среди чернокожих обвиняемых. Среди людей, которые не совершали повторных преступлений, чернокожие обвиняемые почти в два раза чаще попадали в группу повышенного риска.
В чем заключалась суть защиты COMPAS компанией Northpointe?
Нортпойнт утверждал, что прогнозируемый паритет, также называемый калибровкой: заданный балл соответствует одинаковому уровню повторных правонарушений независимо от расы.
При каком условии результат невозможности говорит о том, что калибровка и равные коэффициенты ошибок не могут быть соблюдены?
Кляйнберг, Муллайнатан и Рагхаван, а также отдельно Чоулдехова показали, что конфликт возникает всякий раз, когда базовые ставки различаются и прогноз несовершенен.
Что постановил Верховный суд штата Висконсин в деле «Стейт против Лумиса»?
Суд разрешил использовать COMPAS наряду с другими факторами, с письменными предостережениями относительно его ограничений, но постановил, что он не может быть решающим фактором.
Является ли расовая принадлежность важным фактором для КОМПАСа?
Раса не является входными данными. Диспропорции по-прежнему могут возникать из-за коррелирующих затрат и различий в базовых ставках.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме