概述
有些模式可能会产生不公平或有害的结果。评估偏差需要定义上下文和后果，而不仅仅是从数据集中删除敏感列。
主要要点
- 研究数据和测量选择。
- 报告具有不确定性的相关小组结果。
- 评估更广泛的工作流程和资源。
深入探讨
检查如何收集示例和标签。人口缺失、注释不一致、历史决策和选择性测量都会影响模型的学习内容。目标标签可能反映的是旧的流程，而不是人们关心的潜在结果。通过适当的隐私控制来衡量相关群体和条件的绩效。报告样本量和不确定性。一个小的子群体可能会有不可靠的估计，而全球平均值可能隐藏着巨大且实际上很重要的差异。不同的公平标准回答不同的问题，并且可能会发生冲突。均衡一项统计指标并不能解决所有道德或法律问题。选择具有领域专业知识和受系统影响的人员参与的标准。检查模型周围的工作流程。如何使用预测、谁可以质疑结果以及如何收集反馈都可以改变伤害的分布。评估缓解措施的预期效果和可能出现的新问题。将公平性视为一项持续的评估，而不是一次性的证书。
04工作示例
看看总分的背后
在一项发明的测试中，A 组有 900 个示例，准确度为 95%，而 B 组有 100 个示例，准确度为 60%。
总体结果以A组为主。单独报告B组并检查其误差和样本不确定度。
在选择缓解措施之前调查数据覆盖范围和工作流程原因。
它显示了什么
这些假设的计数说明了为什么总分无法建立公平的绩效。
现实世界的实施
将实际操作条件下的错误率与所示的样本量进行比较。
检查培训标签是否反映了过去的决定而不是预期的结果。
付诸实践
为什么这很重要
- 风险与安全. 灾难性和日常的人工智能危害都取决于谁了解风险以及谁能够采取行动。
- 更清晰的判决. 公众和专业素养决定强有力的安全政策在政治上是否可行。
- 打破炒作. 清晰的解释可以减少炒作、实验室公关和模糊道德剧场的影响。
留意
- 将存在风险视为科幻小说，同时能力复合。
- 混淆了表面产品安全与高度自治下的对准。
- 只给非英语和非专业观众留下低质量的资源。
后续步骤
- 单独的产品危害、误用和失控/失调风险。
- 询问哪些证据会改变您对时间表和严重性的看法。
- 比起营销主张，更喜欢主要来源和具体评估。
- 确定一条行动路径：职业、政策、资金或技能——而不仅仅是意识。
资料来源与延伸阅读
- NIST制定识别和管理人工智能偏见的标准
不断探索
常见问题
可以通过删除人口统计字段来消除偏见吗？
不仅仅是这一步。代理变量、标签、收集实践和部署决策仍然可能产生不平等的结果。