概述
儿童福利机构正在使用预测人工智能来帮助筛选虐待和忽视报告，而社会工作者则使用人工智能工具来减少文书工作并暴露风险。这些高风险系统引发了人工智能领域最尖锐的公平和问责问题。
社会工作和儿童福利中的人工智能将人工智能应用于特定领域的环境中，在这些环境中，法规、操作和风险承受能力强烈影响设计选择。
深入探讨
当热线电话报告可能存在虐待儿童时，筛查人员必须决定是否进行调查。宾夕法尼亚州的阿勒格尼家庭筛查工具等工具根据行政数据（之前的福利历史、公共福利、犯罪和行为健康记录）计算风险评分，以支持这一决定。支持者表示，这使得筛查更加一致；包括记者和美国公民自由联盟在内的批评者警告说，它可能会编码贫困和种族偏见，因为贫困和黑人家庭在其学习的政府数据集中所占比例过高。据报道，美国司法部正在调查此类工具是否歧视残疾人。除了风险评分之外，生成式人工智能现在还可以帮助社会工作者起草案例笔记、总结冗长的案例文件并翻译文件，从而腾出时间直接联系客户。
技术洞察
大多数儿童福利风险模型都是受监督的分类器，经过训练可以使用历史案例记录作为标签来预测未来的重新转诊或户外安置等结果。危险在于代理偏差：模型从过去的机构决策中学习，因此如果这些决策存在偏差，分数就会重现它们。由于存在更多关于低收入家庭的政府数据，因此先前接触的频率成为与贫困而非实际风险相关的一个特征，从而夸大了已接受监测的社区的分数。
掌握社会工作和儿童福利领域的人工智能
儿童福利机构正在使用预测人工智能来帮助筛选虐待和忽视报告，而社会工作者则使用人工智能工具来减少文书工作并暴露风险。这些高风险系统引发了人工智能领域最尖锐的公平和问责问题。社会工作和儿童福利中的人工智能将人工智能应用于特定领域的环境中，在这些环境中，法规、操作和风险承受能力强烈影响设计选择。为了建立深入的理解，请将社会工作和儿童福利中的人工智能视为一种操作模型，而不是单一功能：定义期望的结果，澄清假设，并将系统可以可靠地完成的任务与仍需要专家判断的任务分开。
在实践中，在社会工作和儿童福利领域使用人工智能的强大团队将技术能力与领域政策、可审计性和一线决策相结合。他们记录明确的成功标准，根据实际数据和工作流程进行测试，并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。
行业背景决定了人工智能创意能否与现实接触。同时，监管要求可能会使原本强大的原型失效。最具弹性的方法是将实验速度与治理规则结合起来：运行试点、捕获证据、发布决策日志，并随着模型行为、用户期望和监管要求的发展不断更新保障措施。
战略影响
行业背景决定了人工智能创意能否与现实接触。
行业背景决定了人工智能创意能否与现实接触。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
领域约束会影响可接受的错误率和监督模型。
领域约束会影响可接受的错误率和监督模型。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
成功的部署使技术能力与一线工作流程保持一致。
成功的部署使技术能力与一线工作流程保持一致。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
现实世界的实施
阿勒格尼家庭筛查工具生成风险评分，帮助热线筛查人员决定是否调查虐待转介
生成式人工智能起草和总结案例笔记，让案例工作者花更少的时间在文档上，而将更多的时间花在与家人相处上
自然语言翻译工具帮助社会工作者与非英语客户沟通并翻译案例文件
预测分析标记青少年在没有永久安置的情况下脱离寄养的风险较高，以便各机构可以优先考虑服务
实施模式
人工智能在社会工作和儿童福利领域的实践
阿勒格尼家庭筛查工具生成风险评分，帮助热线筛查人员决定是否调查虐待转介。
阿勒格尼家庭筛查工具生成风险评分，帮助热线筛查人员决定是否调查虐待转介。当团队预先定义质量阈值、为边缘案例保留人工升级路径并跟踪一段时间内的生产力增益和错误成本时，通常会得到更好的结果。
人工智能在社会工作和儿童福利领域的实践
生成式人工智能起草和总结案例笔记，让案例工作者花更少的时间在文档上，而将更多的时间花在与家人相处上。
生成式人工智能起草和总结案例笔记，使案例工作者花在文档上的时间更少，而花在家庭上的时间更多。当团队预先定义质量阈值、为边缘案例保留人工升级路径并随着时间的推移跟踪生产力提升和错误成本时，通常会得到更好的结果。
人工智能在社会工作和儿童福利领域的实践
自然语言翻译工具可帮助社会工作者与非英语客户沟通并翻译案例文件。
自然语言翻译工具帮助社会工作者与非英语客户沟通并翻译案例文档当团队预先定义质量阈值、为边缘案例保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会得到更好的结果。
人工智能在社会工作和儿童福利领域的实践
预测分析表明青少年在没有永久安置的情况下脱离寄养的风险较高，因此各机构可以优先考虑服务。
预测分析标记青少年在没有永久安置的情况下脱离寄养的风险较高，因此机构可以优先考虑服务。当团队预先定义质量阈值、为边缘情况保留人员升级路径并跟踪一段时间内的生产力增益和错误成本时，通常会得到更好的结果。
风险与防护栏
监管要求可能会使原本强大的原型失效。
历史数据可能会编码损害特定社区的偏见。
遗留系统可能会造成集成瓶颈和隐性成本。
实施路线图
让领域专家参与从问题框架到评估的整个过程。
让领域专家参与从问题框架到评估的整个过程。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
在启动前设计审计跟踪和文档。
在启动前设计审计跟踪和文档。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
尽早验证合规性和安全义务。
尽早验证合规性和安全义务。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
分阶段推出，并具有明确的停止和回滚标准。
分阶段推出，并具有明确的停止和回滚标准。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。