概述
一个有用的回答是询问测量的内容、在什么条件下以及什么证据支持结论。避免用同样没有根据的悲观主义取代夸大的乐观主义。
主要要点
- 将主张与证据相匹配。
- 将流畅性与验证分开。
- 避免从孤立的例子中得出普遍的结论。
深入探讨
一个误区是流畅的答案就是经过验证的答案。模型可以在不检查来源的情况下生成可信的散文。检查证据并将检索到的事实与生成的添加内容区分开来。另一个神话是更多的数据或更大的模型可以保证改进。数据可能是不相关的或存在系统性缺陷，而较大的模型可能会增加成本而无法满足任务的需求。比较代表性评估和实际限制的替代方案。第三个误解是自动化消除了人类的责任。人们仍然选择目标、数据、接口、权限和部署条件。模型的推荐并不会让这些选择消失。最后，一次失败或成功并不是完整的能力评估。一次令人印象深刻的演示可能会忽略困难的案例；一个错误可能并不表明该系统对每一项任务都是无用的。使用可重复的测试，检查故障模式，并在证据支持的范围内提出主张。
04工作示例
重写过于宽泛的主张
从发明的声明开始：“该模型的准确度为 95%，因此它可以处理每个支持请求。”
询问哪些请求经过了测试，准确性如何评分，以及是否包括罕见或无法回答的情况。
将声明替换为测试任务、示例、设置和已知限制的描述。
它显示了什么
这个练习将笼统的陈述变成了可以检查的主张。
现实世界的实施
询问供应商准确性声明背后的评估设置。
检查演示是否使用了描述中省略的工具或上下文。
付诸实践
为什么这很重要
- 风险与安全. 灾难性和日常的人工智能危害都取决于谁了解风险以及谁能够采取行动。
- 更清晰的判决. 公众和专业素养决定强有力的安全政策在政治上是否可行。
- 打破炒作. 清晰的解释可以减少炒作、实验室公关和模糊道德剧场的影响。
留意
- 将存在风险视为科幻小说，同时能力复合。
- 混淆了表面产品安全与高度自治下的对准。
- 只给非英语和非专业观众留下低质量的资源。
后续步骤
- 单独的产品危害、误用和失控/失调风险。
- 询问哪些证据会改变您对时间表和严重性的看法。
- 比起营销主张，更喜欢主要来源和具体评估。
- 确定一条行动路径：职业、政策、资金或技能——而不仅仅是意识。
资料来源与延伸阅读
- NIST生成式人工智能风险概况
不断探索
常见问题
一种幻觉是否意味着人工智能毫无用处？
不。它表明在特定条件下发生故障。相关问题是系统是否可以通过适当的评估和控制来满足既定任务的要求。