ДалееСледующее руководство
Расовая предвзятость в медицинских алгоритмах
Общество
РУКОВОДСТВО ПО ОБЩЕСТВУ
COMPAS (Профилирование исправительных правонарушителей для альтернативных санкций) — это коммерческий инструмент оценки рисков от Northpointe, ныне Equivant, который оценивает вероятность повторного совершения обвиняемым преступления.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Он стал центральным примером алгоритмической справедливости после того, как расследование ProPublica, проведенное в 2016 году, показало, что количество ошибок в нем распределялось неравномерно в зависимости от расы. Последовавшие за этим дебаты показали, что общие определения справедливости могут математически противоречить.
В мае 2016 года ProPublica опубликовала статью «Машинная предвзятость». Он проанализировал показатели COMPAS примерно 7000 человек, арестованных в округе Бровард, штат Флорида, в 2013 и 2014 годах, и проверил, кому были предъявлены обвинения в новом преступлении в течение двух лет. Расовая принадлежность не является входными данными для КОМПАС, который использует криминальную историю и анкету. Несмотря на это, ProPublica обнаружила, что среди людей, которые не совершали повторных преступлений, чернокожие обвиняемые почти в два раза чаще, чем белые обвиняемые, попадали в группу повышенного риска. Среди людей, совершивших повторное преступление, белые обвиняемые чаще относились к группе низкого риска. Проще говоря, уровень ложноположительных результатов был выше у чернокожих обвиняемых, а уровень ложноотрицательных результатов был выше у белых обвиняемых. ProPublica также сообщила, что общая точность была скромной — около 60 процентов. Нортпойнт ответил, что этот инструмент справедлив по другим стандартам. На каждом уровне баллов чернокожие и белые обвиняемые совершали повторные правонарушения с одинаковой частотой, поэтому определенный балл означал одно и то же независимо от расы. Это свойство называется калибровкой или прогнозирующей четностью. Цифры каждой стороны были в основном верными. Затем исследователи показали, почему оба могут быть правы. Джон Кляйнберг, Сендхил Муллайнатан и Маниш Рагхаван, а также отдельно Александра Чоулдехова доказали, что, когда две группы имеют разные базовые показатели результата, балл не может быть откалиброван, а также имеют одинаковые уровни ложноположительных и ложноотрицательных результатов в группах. Единственное исключение — идеальный предсказатель. Таким образом, выбор определения справедливости – это оценочное суждение, а не техническая деталь. В деле «Стейт против Лумиса» (2016 г.) Верховный суд штата Висконсин разрешил судьям учитывать COMPAS при вынесении приговора. Он постановил, что счет не может быть решающим фактором, и потребовал вынести ему письменное предупреждение. Исследование, проведенное в Дартмуте в 2018 году Джулией Дрессел и Хани Фаридом, показало, что неподготовленные онлайн-добровольцы предсказывали повторный арест примерно так же точно, как COMPAS. Распространенным заблуждением является то, что исключение расовой принадлежности устраняет предвзятость. Связанные данные, такие как предыдущие аресты, могут учитывать исторические модели работы полиции.
В округе, где используется КОМПАС, сотрудник предварительного следствия объединяет ответы обвиняемого на анкету с его криминальным прошлым. Результатом является набор децилей от 1 до 10, который отображается в отчете, отправленном судье.
После дела «Стейт против Лумиса» судья из Висконсина, получивший отчет COMPAS, также получил письменные предупреждения. Они предупреждают, что метод является запатентованным, что оценки описывают группы, а не отдельных лиц, и что поднимаются вопросы о расовом неравенстве.
Специалист по данным, проверяющий модель кредитования, рассчитывает как калибровочные, так и ложноположительные показатели для каждой группы. Как и в случае с КОМПАС, выравнивание одного нарушает другое, поскольку базовые ставки групп различаются.
Исследователи, следившие за исследованием в Дартмуте в 2018 году, показывают, что простая модель, использующая только возраст и количество предыдущих судимостей, предсказывает повторное арест примерно с той же точностью, что и полный показатель COMPAS.
Инструменты оценки рисков до сих пор используются во многих учреждениях предварительного заключения и вынесения приговоров в США, и дебаты продолжаются. Некоторые реформаторские группы считают их более последовательными, чем суждения без посторонней помощи, в то время как другие утверждают, что они закрепляют историческую предвзятость. Вероятные изменения включают требования к местной проверке, публичную отчетность о частоте ошибок по группам и доступ ответчиков к тому, как выставляются оценки, хотя темпы варьируются в зависимости от юрисдикции. Результат невозможности теперь является стандартной частью преподавания справедливости и формирует проверки в сфере найма, кредитования и здравоохранения. Не указано, какое определение использовать. Это остается политическим выбором относительно того, какие ошибки общество более готово принять.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
COMPAS (Профилирование исправительных правонарушителей для альтернативных санкций) — это коммерческий инструмент оценки рисков от Northpointe, ныне Equivant, который оценивает вероятность повторного совершения обвиняемым преступления. Он стал центральным примером алгоритмической справедливости после того, как расследование ProPublica, проведенное в 2016 году, показало, что количество ошибок в нем распределялось неравномерно в зависимости от расы. Последовавшие за этим дебаты показали, что общие определения справедливости могут математически противоречить.
ProPublica обнаружила более высокий уровень ложноположительных результатов среди чернокожих обвиняемых. Среди людей, которые не совершали повторных преступлений, чернокожие обвиняемые почти в два раза чаще попадали в группу повышенного риска.
Нортпойнт утверждал, что прогнозируемый паритет, также называемый калибровкой: заданный балл соответствует одинаковому уровню повторных правонарушений независимо от расы.
Кляйнберг, Муллайнатан и Рагхаван, а также отдельно Чоулдехова показали, что конфликт возникает всякий раз, когда базовые ставки различаются и прогноз несовершенен.
Суд разрешил использовать COMPAS наряду с другими факторами, с письменными предостережениями относительно его ограничений, но постановил, что он не может быть решающим фактором.
Раса не является входными данными. Диспропорции по-прежнему могут возникать из-за коррелирующих затрат и различий в базовых ставках.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Расовая предвзятость в медицинских алгоритмах
Общество