概述
过多的信任可能掩盖错误;过少的信任会阻碍有用的帮助。目标是根据任务和操作条件做出有根据且可修订的判断。
主要要点
- 依赖任务具体的证据。
- 评估信心，而不是轻易接受。
- 衡量人们如何使用并覆盖推荐。
深入探讨
区分统计校准与个人信任。校准概率评分与预测在可比案例中准确率的实证关系。人类信任还依赖于界面设计、过往经验、解释以及错误的后果。模型的语言置信度是另一个需要评估的输出。没有可靠证据，它听起来可能很确定。即使是统计校准的模型也可能表现不佳，且对某一数据集的良好校准并不保证在语言、领域或任务发生变化后校准。为用户提供支持独立核查的信息。展示来源，描述相关局限性，并将经过验证的结果与推断结论区分开来。避免使用暗示比测量精度更高的装饰性置信徽章。测试用户如何使用系统，包括是否注意到错误并适当执行覆盖。同时测量过度依赖和不必要的拒绝。行为发生变化时更新指导，并保留简洁的报告错误或完成任务的方式，无需模型。
04工作示例
解释概率带
想象100个预测，被赋予大约80%正确概率。在一个具代表性的保留样本中，只有55个是正确的。
该组在该评估下过于自信;显示的80%不应被视为已确立的可靠性。
在改变分数向用户展示方式之前，重复使用足够多的概率范围和重要子群体的例子。
它显示了什么
这些发明的计数展示了校准评估及其对评估样品的依赖性。
现实世界的实施
比较预测概率区间与未被保留实例的观察结果。
在需要核实的答案旁展示支持的来源段落。
付诸实践
为什么这很重要
- 风险与安全. 灾难性和日常的人工智能危害都取决于谁了解风险以及谁能够采取行动。
- 更清晰的判决. 公众和专业素养决定强有力的安全政策在政治上是否可行。
- 打破炒作. 清晰的解释可以减少炒作、实验室公关和模糊道德剧场的影响。
留意
- 将存在风险视为科幻小说，同时能力复合。
- 混淆了表面产品安全与高度自治下的对准。
- 只给非英语和非专业观众留下低质量的资源。
后续步骤
- 单独的产品危害、误用和失控/失调风险。
- 询问哪些证据会改变您对时间表和严重性的看法。
- 比起营销主张，更喜欢主要来源和具体评估。
- 确定一条行动路径：职业、政策、资金或技能——而不仅仅是意识。
资料来源与延伸阅读
- Jiang and colleagues我们如何知道语言模型什么时候知道？
不断探索
常见问题
自信的解释会让答案更可信吗？
单独看不行。检查它的证据和系统对此类任务的测量可靠性。