人工智能在社会工作和儿童福利领域的应用
儿童福利机构正在使用预测人工智能来帮助筛选虐待和忽视报告，而社会工作者则使用人工智能工具来减少文书工作并暴露风险。
概述
这些高风险系统引发了人工智能领域最尖锐的公平和问责问题。
深入探讨
当热线电话报告可能存在虐待儿童时，筛查人员必须决定是否进行调查。宾夕法尼亚州的阿勒格尼家庭筛查工具等工具根据行政数据（之前的福利历史、公共福利、犯罪和行为健康记录）计算风险评分，以支持这一决定。支持者表示，这使得筛查更加一致；包括记者和美国公民自由联盟在内的批评者警告说，它可能会编码贫困和种族偏见，因为贫困和黑人家庭在其学习的政府数据集中所占比例过高。据报道，美国司法部正在调查此类工具是否歧视残疾人。除了风险评分之外，生成式人工智能现在还可以帮助社会工作者起草案例笔记、总结冗长的案例文件并翻译文件，从而腾出时间直接联系客户。
技术洞察
大多数儿童福利风险模型都是受监督的分类器，经过训练可以使用历史案例记录作为标签来预测未来的重新转诊或户外安置等结果。危险在于代理偏差：模型从过去的机构决策中学习，因此如果这些决策存在偏差，分数就会重现它们。由于存在更多关于低收入家庭的政府数据，因此先前接触的频率成为与贫困而非实际风险相关的一个特征，从而夸大了已接受监测的社区的分数。
战略影响
背景与规则
行业背景决定了人工智能创意能否与现实接触。
质量控制
领域约束会影响可接受的错误率和监督模型。
构建选择
成功的部署使技术能力与一线工作流程保持一致。
人工智能在社会工作和儿童福利领域的未来
该领域正在朝着“决策支持，而不是决策制定”的方向发展——让人类了解情况，发布模型审核，并赋予家庭对分数提出质疑的权利。期待外部偏见审计、残疾歧视审查以及更明确的规则，即风险评分永远不能成为驱逐儿童的唯一依据。风险较低、竞争较少的用途——自动化文书工作、总结记录和翻译——可能会比预测风险评分更快地扩展。
现实世界的实施
阿勒格尼家庭筛查工具生成风险评分，帮助热线筛查人员决定是否调查虐待转介
生成式人工智能起草和总结案例笔记，让案例工作者花更少的时间在文档上，而将更多的时间花在与家人相处上
自然语言翻译工具帮助社会工作者与非英语客户沟通并翻译案例文件
预测分析标记青少年在没有永久安置的情况下脱离寄养的风险较高，以便各机构可以优先考虑服务
风险与防护栏
监管要求可能会使原本强大的原型失效。
历史数据可能会编码损害特定社区的偏见。
遗留系统可能会造成集成瓶颈和隐性成本。
实施路线图
让领域专家参与从问题框架到评估的整个过程。
在启动前设计审计跟踪和文档。
尽早验证合规性和安全义务。
分阶段推出，并具有明确的停止和回滚标准。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the AI in Social Work and Child Welfare quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
什么是社会工作和儿童福利领域的人工智能？
儿童福利机构正在使用预测人工智能来帮助筛选虐待和忽视报告，而社会工作者则使用人工智能工具来减少文书工作并暴露风险。这些高风险系统引发了人工智能领域最尖锐的公平和问责问题。
阿勒格尼家庭筛查工具会产生什么？
该工具根据管理数据生成风险评分，以支持人类筛查人员决定虐待报告是否值得调查——这是决策支持，而不是最终决定。
什么是儿童福利风险模型中的“代理偏差”？
当可测量的特征（例如之前与机构联系的频率）与贫困或种族相关，而不是与模型要预测的实际结果相关时，就会出现代理偏差。
为什么贫困家庭和黑人家庭在这些系统中可能会得到夸大的风险评分？
由于低收入和过度监控的社区存在更多的管理数据，因此即使实际风险并不更高，事先接触的特征也会夸大其分数。
哪种机器学习模型通常用于儿童福利风险评分？
这些工具通常是监督分类器，经过训练可以预测重新转诊或安置等结果，使用过去的案例记录作为标记的训练数据。
人工智能在社会工作中的哪些低风险应用正在迅速扩大？
与预测风险评分相比，用于文书工作、总结案件卷宗和翻译的生成人工智能的争议较少，并且正在扩展到免费的案例工作者时间。