社团指南

GDPR 和自动化决策

当计算机自动做出有关人们的重要决策时,欧盟的《通用数据保护条例》赋予人们权利。

概述

当计算机自动做出有关人们的重要决策时,欧盟的《通用数据保护条例》赋予人们权利。这是世界上最具影响力的规则之一,决定了人工智能系统如何在欧洲人身上使用。

GDPR 和自动化决策处于能力、权力和公共选择的交叉点——安全、治理和合法性决定先进的人工智能是否会大规模地带来帮助或损害。

深入探讨

GDPR 自 2018 年 5 月起生效,是欧盟的旗舰隐私法。其与人工智能最相关的条款是第 22 条,该条款规定,人们有权不受仅基于自动化处理的决定的约束,该决定会产生法律或类似的重大影响,例如自动贷款拒绝或自动招聘拒绝。但也有例外:如果合同有必要、法律授权或基于明确同意,则可以允许该决定。即便如此,组织也必须提供保障措施,包括人为干预的权利、表达观点并对决定提出异议的权利。只要决策是完全自动化且重要的,无论是否涉及人工智能,第 22 条都适用。

技术洞察

第 22 条取决于两个门槛:决策必须完全自动化(没有有意义的人为参与),并且具有法律或类似的重大影响。人类对算法输出的橡皮图章不算是有意义的评论。结合第 13-15 条,控制者必须提供有关所涉及逻辑的有意义的信息。这促使公司转向可解释的模型和审计日志,因为它们必须能够描述输入如何映射到决策。

掌握 GDPR 和自动化决策

为了加深理解,请将 GDPR 和自动决策视为一种操作模型,而不是单一功能。定义期望的结果,澄清假设,并将系统可以可靠地完成的任务与仍需要专家判断的任务分开。

在实践中,使用 GDPR 和自动决策的强大团队将能力增长与治理、安全和明确的问责结构结合起来。他们记录明确的成功标准,根据实际数据和工作流程进行测试,并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。

灾难性和日常的人工智能危害都取决于谁了解风险以及谁能够采取行动。与此同时,在能力复合的同时,将存在风险视为科幻小说。最具弹性的方法是将实验速度与治理规则结合起来:运行试点、捕获证据、发布决策日志,并随着模型行为、用户期望和监管要求的发展不断更新保障措施。

战略影响

灾难性和日常的人工智能危害都取决于谁了解风险以及谁能够采取行动。

灾难性和日常的人工智能危害都取决于谁了解风险以及谁能够采取行动。在高质量部署中,这会转化为可衡量的操作规则、所有权边界和定期审查仪式,以便团队可以增强信心,而不是扩大模糊性。

公众和专业素养决定强有力的安全政策在政治上是否可行。

公众和专业素养决定强有力的安全政策在政治上是否可行。在高质量部署中,这会转化为可衡量的操作规则、所有权边界和定期审查仪式,以便团队可以增强信心,而不是扩大模糊性。

清晰的解释可以减少炒作、实验室公关和模糊道德剧场的影响。

清晰的解释可以减少炒作、实验室公关和模糊道德剧场的影响。在高质量部署中,这会转化为可衡量的操作规则、所有权边界和定期审查仪式,以便团队可以增强信心,而不是扩大模糊性。

GDPR 和自动化决策的未来

GDPR 的执行力度正在加强,现在它与欧盟人工智能法案重叠,该法案为信用评分和招聘等高风险系统增加了风险分级义务。预计将有更多有关什么是完全自动化决策、更严格的分析审查以及巨额罚款(最高可达全球营业额 4%)的指导。法院,包括 SCHUFA 信用评分案中的欧盟法院,正在积极澄清评分本身何时会触发第 22 条保护。

现实世界的实施

银行使用评分算法自动拒绝信用卡申请,然后必须为申请人提供请求人工审核的方法。

在线贷款机构必须告诉被拒绝的借款人自动拒绝背后的主要因素,并有权获得有意义的逻辑信息。

一个根据评级自动停用司机的零工经济平台面临着第 22 条关于完全自动解雇的挑战。

使用人工智能简历筛选软件的招聘人员必须在最终拒绝招聘之前建立人工检查点,以遵守第 22 条的规定。

实施模式

GDPR 和自动化决策的实践

银行使用评分算法自动拒绝信用卡申请,然后必须为申请人提供请求人工审核的方法。

当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时,通常会获得更好的结果。

GDPR 和自动化决策的实践

在线贷款机构必须告诉被拒绝的借款人自动拒绝背后的主要因素,并有权获得有意义的逻辑信息。

当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时,通常会获得更好的结果。

GDPR 和自动化决策的实践

一个根据评级自动停用司机的零工经济平台面临着第 22 条关于完全自动解雇的挑战。

当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时,通常会获得更好的结果。

GDPR 和自动化决策的实践

使用人工智能简历筛选软件的招聘人员必须在最终拒绝招聘之前建立人工检查点,以遵守第 22 条的规定。

当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时,通常会获得更好的结果。

风险与防护栏

!

将存在风险视为科幻小说,同时能力复合。

!

混淆了表面产品安全与高度自治下的对准。

!

只给非英语和非专业观众留下低质量的资源。

实施路线图

1

单独的产品危害、误用和失控/失调风险。

将此视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

2

询问哪些证据会改变您对时间表和严重性的看法。

将此视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

3

比起营销主张,更喜欢主要来源和具体评估。

将此视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

4

确定一条行动路径:职业、政策、资金或技能——而不仅仅是意识。

将此视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

不断探索

Check your understanding

Test yourself: take the GDPR and Automated Decision-Making quiz

Start quiz