AI信任校准

过多的信任可能掩盖错误;过少的信任会阻碍有用的帮助。目标是根据任务和操作条件做出有根据且可修订的判断。

主要要点

• 依赖任务具体的证据。
• 评估信心，而不是轻易接受。
• 衡量人们如何使用并覆盖推荐。

区分统计校准与个人信任。校准概率评分与预测在可比案例中准确率的实证关系。人类信任还依赖于界面设计、过往经验、解释以及错误的后果。模型的语言置信度是另一个需要评估的输出。没有可靠证据，它听起来可能很确定。即使是统计校准的模型也可能表现不佳，且对某一数据集的良好校准并不保证在语言、领域或任务发生变化后校准。为用户提供支持独立核查的信息。展示来源，描述相关局限性，并将经过验证的结果与推断结论区分开来。避免使用暗示比测量精度更高的装饰性置信徽章。测试用户如何使用系统，包括是否注意到错误并适当执行覆盖。同时测量过度依赖和不必要的拒绝。行为发生变化时更新指导，并保留简洁的报告错误或完成任务的方式，无需模型。

1. 想象100个预测，被赋予大约80%正确概率。在一个具代表性的保留样本中，只有55个是正确的。
2. 该组在该评估下过于自信;显示的80%不应被视为已确立的可靠性。
3. 在改变分数向用户展示方式之前，重复使用足够多的概率范围和重要子群体的例子。

这些发明的计数展示了校准评估及其对评估样品的依赖性。