ИИ в социальной работе и защите детей
Агентства по защите детей используют интеллектуальный искусственный интеллект для проверки сообщений о жестоком обращении и пренебрежении, а социальные работники используют инструменты искусственного интеллекта для сокращения бумажной работы и выявления рисков.
Обзор
These high-stakes systems raise some of the sharpest fairness and accountability questions in all of AI.
Глубокое погружение
Когда на горячую линию поступает сообщение о возможном жестоком обращении с детьми, специалисты по скринингу должны решить, следует ли проводить расследование. Такие инструменты, как инструмент скрининга семей Аллегейни в Пенсильвании, вычисляют оценку риска на основе административных данных — предыдущей истории благосостояния, государственных пособий, уголовных данных и записей о поведенческом здоровье — для обоснования этого решения. Сторонники говорят, что это делает скрининг более последовательным; критики, в том числе журналисты и ACLU, предупреждают, что он может кодировать бедность и расовую предвзятость, поскольку бедные и чернокожие семьи чрезмерно представлены в тех самых правительственных наборах данных, из которых он извлекает уроки. Сообщается, что Министерство юстиции США проверило, дискриминируют ли такие инструменты людей с ограниченными возможностями. Помимо оценки рисков, генеративный ИИ теперь помогает социальным работникам составлять протоколы дел, обобщать длинные файлы дел и переводить документы, освобождая время для прямого контакта с клиентами.
Техническая информация
Большинство моделей риска для благополучия детей представляют собой контролируемые классификаторы, обученные прогнозировать такие последствия, как будущее повторное направление или размещение вне дома, используя в качестве меток исторические записи случаев. Опасность заключается в предвзятости прокси: модель учится на прошлых решениях агентства, поэтому, если эти решения были предвзятыми, оценка воспроизводит их. Поскольку существует больше государственных данных о семьях с низкими доходами, частота предыдущих контактов становится признаком, который коррелирует с бедностью, а не с фактическим риском, что приводит к завышению оценок для сообществ, которые уже находятся под наблюдением.
Стратегическое воздействие
Контекст и правила
Отраслевой контекст определяет, выживут ли идеи ИИ при контакте с реальностью.
Контроль качества
Ограничения предметной области влияют на приемлемый уровень ошибок и модели надзора.
Выбор сборки
Успешные развертывания позволяют согласовать технические возможности с рабочими процессами на переднем крае.
Будущее искусственного интеллекта в социальной работе и защите детей
Эта область движется в сторону «поддержки принятия решений, а не принятия решений» — держать человека в курсе событий, публиковать результаты аудита моделей и давать семьям право оспаривать результаты. Ожидайте внешних проверок предвзятости, проверки дискриминации по признаку инвалидности и более четких правил, согласно которым оценка риска никогда не может быть единственным основанием для изъятия ребенка. Использование с меньшим риском и меньшим количеством споров — автоматизация документооборота, обобщение записей и перевод — вероятно, будет расширяться быстрее, чем прогнозирующая оценка рисков.
Реальная реализация
Инструмент скрининга семей Аллегейни, генерирующий оценку риска, чтобы помочь специалистам по скринингу на горячей линии решить, следует ли расследовать случай направления к врачу по поводу жестокого обращения.
Генеративный искусственный интеллект составляет и обобщает записи дел, чтобы сотрудники, занимающиеся соцработниками, тратили меньше времени на документацию и больше времени на общение с семьями.
Инструменты перевода на естественный язык, помогающие социальным работникам общаться с клиентами, не говорящими по-английски, и переводить документы по делу.
Прогнозная аналитика указывает на то, что молодежь подвергается более высокому риску старения из приемных семей без постоянного размещения, чтобы агентства могли расставлять приоритеты в услугах
Риски и ограничения
Нормативные требования могут сделать недействительными сильные прототипы.
Исторические данные могут отражать предвзятость, которая наносит вред конкретным сообществам.
Устаревшие системы могут создавать узкие места в интеграции и скрытые затраты.
Дорожная карта реализации
Привлекайте экспертов в предметной области от постановки проблемы до оценки.
Разработайте журналы аудита и документацию перед запуском.
Заблаговременно проверяйте соответствие требованиям и обязательства по безопасности.
Развертывание поэтапно с четкими критериями остановки и отката.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the AI in Social Work and Child Welfare quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
ИИ в железных дорогах
Часто задаваемые вопросы
What is AI in Social Work and Child Welfare?
Агентства по защите детей используют интеллектуальный искусственный интеллект для проверки сообщений о жестоком обращении и пренебрежении, а социальные работники используют инструменты искусственного интеллекта для сокращения бумажной работы и выявления рисков. Эти системы с высокими ставками поднимают одни из самых острых вопросов справедливости и подотчетности во всей сфере ИИ.
Что дает инструмент скрининга семей Аллегейни?
Инструмент генерирует оценку риска на основе административных данных, чтобы помочь специалистам по проверке людей решить, требует ли отчет о жестоком обращении расследования — это поддержка принятия решений, а не окончательное решение.
Что такое «предвзятость по доверенности» в моделях риска благосостояния детей?
Прокси-предвзятость возникает, когда измеримая характеристика (например, частота предыдущих контактов с агентством) коррелирует с бедностью или расой, а не с фактическим результатом, который должна предсказать модель.
Почему бедные и чернокожие семьи могут получать завышенные оценки риска в этих системах?
Поскольку существует больше административных данных о сообществах с низкими доходами и чрезмерно контролируемыми сообществами, характеристики предыдущего контакта завышают их оценки, даже если фактический риск не выше.
Какая модель машинного обучения обычно используется для оценки рисков, связанных с благополучием детей?
Эти инструменты обычно представляют собой контролируемые классификаторы, обученные прогнозировать результаты, такие как повторное направление или размещение, используя записи прошлых случаев в качестве маркированных данных обучения.
Какое использование ИИ с низким уровнем риска в социальной работе быстро распространяется?
Генеративный искусственный интеллект для оформления документов, обобщения материалов дел и перевода вызывает меньше споров, чем прогнозирующая оценка рисков, и расширяется, чтобы освободить время соцработников.