人工智慧在社會工作和兒童福利領域的應用
兒童福利機構正在使用預測人工智慧來幫助篩選虐待和忽視報告，而社會工作者則使用人工智慧工具來減少文書工作並暴露風險。
概述
These high-stakes systems raise some of the sharpest fairness and accountability questions in all of AI.
深入探討
當熱線電話報告可能有虐待兒童時，篩檢人員必須決定是否進行調查。賓州的阿勒格尼家庭篩選工具等工具根據行政資料（先前的福利歷史、公共福利、犯罪和行為健康記錄）計算風險評分，以支持此決定。支持者表示，這使得篩檢更加一致；包括記者和美國公民自由聯盟在內的批評者警告說，它可能會編碼貧困和種族偏見，因為貧困和黑人家庭在其學習的政府數據集中所佔比例過高。據報道，美國司法部正在調查此類工具是否歧視殘疾人。除了風險評分之外，生成式人工智慧現在還可以幫助社工起草案例筆記、總結冗長的案例文件並翻譯文件，從而騰出時間直接聯繫客戶。
技術洞察
大多數兒童福利風險模型都是受監督的分類器，經過訓練後可以使用歷史案例記錄作為標籤來預測未來的重新轉診或戶外安置等結果。危險在於代理偏差：模型從過去的機構決策中學習，因此如果這些決策有偏差，分數就會重現它們。由於有更多關於低收入家庭的政府數據，因此先前接觸的頻率成為與貧窮而非實際風險相關的一個特徵，從而誇大了已接受監測的社區的分數。
戰略影響
背景與規則
產業背景決定了人工智慧創意能否與現實接觸。
品質管控
領域約束會影響可接受的錯誤率和監督模型。
配裝選擇
成功的部署使技術能力與第一線工作流程保持一致。
人工智慧在社會工作和兒童福利領域的未來
該領域正在朝著「決策支持，而不是決策」的方向發展——讓人類了解情況，發布模型審核，並賦予家庭對分數提出質疑的權利。期待外部偏見審計、殘疾歧視審查以及更明確的規則，即風險評分永遠不能成為驅逐兒童的唯一依據。風險較低、競爭較少的用途——自動化文書工作、總結記錄和翻譯——可能會比預測風險評分更快擴展。
現實世界的實施
阿勒格尼家庭篩檢工具產生風險評分，幫助熱線篩檢人員決定是否調查虐待轉介
生成式人工智慧起草和總結案例筆記，讓案例工作者花更少的時間在文件上，而將更多的時間花在與家人相處上
自然語言翻譯工具可幫助社工與非英語客戶溝通並翻譯個案文件
預測分析標記青少年在沒有永久安置的情況下脫離寄養的風險較高，以便各機構可以優先考慮服務
風險與防護欄
監理要求可能會使原本強大的原型失效。
歷史資料可能會編碼損害特定社區的偏見。
遺留系統可能會造成整合瓶頸和隱性成本。
實施路線圖
讓領域專家參與從問題框架到評估的整個過程。
在啟動前設計審計追蹤和文件。
儘早驗證合規性和安全義務。
分階段推出，並有明確的停止和回滾標準。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the AI in Social Work and Child Welfare quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is AI in Social Work and Child Welfare?
兒童福利機構正在使用預測人工智慧來幫助篩選虐待和忽視報告，而社會工作者則使用人工智慧工具來減少文書工作並暴露風險。這些高風險系統引發了人工智慧領域最尖銳的公平和問責問題。
阿勒格尼家庭篩檢工具會產生什麼？
该工具根据管理数据生成风险评分，以支持人类筛查人员决定虐待报告是否值得调查——这是决策支持，而不是最终决定。
什么是儿童福利风险模型中的“代理偏差”？
当可测量的特征（例如之前与机构联系的频率）与贫困或种族相关，而不是与模型要预测的实际结果相关时，就会出现代理偏差。
为什么贫困家庭和黑人家庭在这些系统中可能会得到夸大的风险评分？
由于低收入和过度监控的社区存在更多的管理数据，因此即使实际风险并不更高，事先接触的特征也会夸大其分数。
哪一種機器學習模型通常用於兒童福利風險評分？
这些工具通常是监督分类器，经过训练可以预测重新转诊或安置等结果，使用过去的案例记录作为标记的训练数据。
人工智慧在社會工作中的哪些低風險應用正在迅速擴大？
与预测风险评分相比，用于文书工作、总结案件卷宗和翻译的生成人工智能的争议较少，并且正在扩展到免费的案例工作者时间。