ДалееСледующее руководство
Гендерные оттенки и аудит предвзятости распознавания лиц
Общество
РУКОВОДСТВО ПО ОБЩЕСТВУ
Аудит ИИ — это структурированная оценка системы ИИ или организации, использующей ее, на соответствие определенным критериям, таким как точность, справедливость, безопасность, законодательные требования или стандарты управления, проводимая внутри компании, независимой третьей стороной или по поручению регулирующего органа.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Заверения третьих сторон имеют большое значение, поскольку заявления о системах искусственного интеллекта трудно проверить посторонним, а аудиты становятся основным способом их проверки регулирующими органами, покупателями и общественностью.
Аудиты ИИ различаются по тому, кто их проводит и что они проверяют. Внутренний аудит проводится самой организацией, в идеале — командой, отдельной от строителей; В концепции Раджи и его коллег на 2020 год предлагается сквозной процесс внутреннего аудита на протяжении всего процесса разработки системы. Внешний аудит проводится со стороны. Некоторые из них являются кооперативными и имеют доступ к данным и коду; другие являются враждебными, например, журналисты или исследователи, тестирующие систему через ее публичный интерфейс. Регулирующие аудиты обязательны или проводятся в соответствии с законом. Методы делятся на три большие группы. Аудит управления или процессов проверяет политику, документацию, роли и управление рисками. Технические аудиты проверяют модель: производительность в подгруппах, надежность, безопасность и поведение в крайних случаях, иногда включая «красную команду». Аудит результатов рассматривает реальные эффекты, например, сравнивая решения разных групп или используя учетные записи носков-марионеток для проверки системы рекомендаций. Оценка соответствия является родственной юридической концепцией. В соответствии с Законом ЕС об искусственном интеллекте поставщики систем высокого риска должны продемонстрировать соответствие требованиям, прежде чем размещать их на рынке. Для большинства автономных применений с высоким уровнем риска это процедура внутреннего контроля, в то время как для некоторых биометрических систем и искусственного интеллекта в продуктах, уже подпадающих под действие законов ЕС о безопасности, может потребоваться участие уполномоченного органа. Местный закон № 144 города Нью-Йорка требует независимого аудита предвзятости для автоматизированных инструментов принятия решений о приеме на работу, а Закон ЕС о цифровых услугах требует независимого аудита очень крупных онлайн-платформ. Независимость – это постоянная слабость. Аудиторам обычно платит проверяемая компания, они могут иметь ограниченный доступ и часто работают без согласованных стандартов того, что считается прохождением проверки. Критики предупреждают о «промывке» аудита, когда узкий аудит представляется как чистое свидетельство о здоровье. Распространенным заблуждением является то, что аудит удостоверяет, что система в целом безопасна и справедлива; речь идет только о рассматриваемых критериях, масштабах и периоде времени.
Работодатель в Нью-Йорке, использующий автоматизированный инструмент проверки резюме, заказывает независимую проверку предвзятости, в которой сообщается о коэффициентах влияния отбора по категориям пола, расы или этнической принадлежности, как того требует местный закон 144 города.
Исследователи запрашивают коммерческие службы анализа лиц со сбалансированным набором лиц и публикуют процент ошибок по типу кожи и полу. Это внешний аудит, проведенный без сотрудничества с поставщиками, как, например, исследование Gender Shades 2018 года.
Компания-разработчик программного обеспечения запрашивает сертификацию своей системы управления ИИ на соответствие стандарту ISO/IEC 42001 в аккредитованном органе по сертификации, чтобы корпоративные клиенты могли видеть, что ее средства управления проверены.
Очень крупная онлайн-платформа в ЕС проходит ежегодный независимый аудит управления рисками, включая рекомендательные системы, в соответствии с Законом о цифровых услугах.
Формируется индустрия обеспечения безопасности ИИ, включающая бухгалтерские фирмы, специализированные стартапы, испытательные лаборатории и органы по сертификации. Работа над стандартами, такими как ISO/IEC 42001 для систем менеджмента и соответствующие стандарты для органов, которые их сертифицируют, направлена на то, чтобы сделать аудиты более сопоставимыми. Правительства, в том числе Великобритании, опубликовали планы по развитию рынка гарантий ИИ. Ключевыми нерешенными вопросами являются аккредитация аудиторов, доступ к внутренним характеристикам модели для внешних исследователей и вопрос о том, кто платит, не создавая конфликта интересов. Аудит моделей общего назначения особенно незрелый, поскольку их использование является открытым. В ближайшем будущем ожидайте постепенной профессионализации, а не единого согласованного метода.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Аудит ИИ — это структурированная оценка системы ИИ или организации, использующей ее, на соответствие определенным критериям, таким как точность, справедливость, безопасность, законодательные требования или стандарты управления, проводимая внутри компании, независимой третьей стороной или по поручению регулирующего органа. Заверения третьих сторон имеют большое значение, поскольку заявления о системах искусственного интеллекта трудно проверить посторонним, а аудиты становятся основным способом их проверки регулирующими органами, покупателями и общественностью.
Состязательный внешний аудит проводится посторонними лицами, такими как журналисты или исследователи, которые исследуют систему без сотрудничества или привилегированного доступа.
Аудит процессов проверяет, как организация управляет ИИ, а не непосредственно тестирует модель.
Местный закон № 144 требует независимого аудита предвзятости, включая коэффициенты воздействия по демографическим категориям.
Коэффициент влияния сравнивает уровень выбора каждой категории с уровнем выбора наиболее выбранной категории.
Большинство отдельных видов использования с высоким уровнем риска подлежат внутреннему контролю, в то время как для некоторых биометрических систем и регулируемых продуктов может потребоваться участие уполномоченного органа.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Гендерные оттенки и аудит предвзятости распознавания лиц
Общество