引导式测验 · 硬 等级
AI 信任校准测验
测试概率校准、准确性差异、移动数据、证据显示、用户可靠性和可修订指导。
问题 1 的 8
统计校准描述了什么？
预览每个问题8 问题
当您参加测验时，就会出现答案和解释。
- 统计校准描述了什么？
- 用户是否喜欢该界面
- 模型是否对每个示例都正确排序
- 模型解释自己的频率如何
- 预测概率是否与可比案例的观察频率相匹配
- 统计校准的模型仍可能表现不佳吗？
- 不，校准并不保证高准确率
- 是的；校准和任务质量是不同的属性
- 仅当用户不信任它时
- 不，如果显示了其置信度
- 模型的口头陈述“我有95%的把握”说明了什么？
- 仅表明它产生了这些词；置信度需要经验评估
- 它的输出已校准
- 来源证据是正确的
- 人类不应审查它
- 模型在一个数据集上进行校准。领域转移后仍不确定的是什么？
- 它的旧测试分数是否存在
- 所有用户是否都同意系统
- 校准在语言、领域或任务变化后是否仍然有效
- 界面颜色是否可访问
- 哪个界面功能可以支持独立检查？
- 使用装饰性的置信徽章而不进行测量
- 在答案旁显示来源和相关限制
- 隐藏来源以减少杂乱
- 声明模型始终可靠
- 团队应如何评估人类对系统的信任？
- 仅测量用户是否点击“接受”
- 假设解释总能提升信任
- 统计模型的自信词汇
- 测试人们是否注意到错误并适当地使用覆盖功能
- 为什么要区分准确率和校准度？
- 准确率和校准度是同义词
- 校准仅衡量延迟
- 模型可能正确排序案例，但其概率系统性过高或过低
- 已校准的分数不可能错误
- 当测得的校准度随时间变化时应如何处理？
- 更新用户指导，并保留报告错误或以其他方式完成任务的途径
- 无限期保持界面不变
- 移除所有来源
- 显示更精确的置信值