引导式测验 · 中等 等级

概率校准测验

检查校准定义、可靠性图、ECE、温度缩放以及验证质量与分类准确性不同的原因。

相关引导路径概率校准
问题 1 的 8

如果在模型标记为 80% 置信度的预测中，以下事件发生，则模型已得到良好校准：

预览每个问题8 问题

当您参加测验时，就会出现答案和解释。

  1. 如果在模型标记为 80% 置信度的预测中，以下事件发生，则模型已得到良好校准：
    • 大约80%的时间
    • 100%的时间
    • 大约20%的时间
    • 正好一次
  2. 温度缩放对神经网络的输出有何影响？
    • 更改预测的类别
    • 在 softmax 之前将 logits 除以学习标量，调整置信度
    • 向训练标签添加噪音
    • 从头开始重新训练网络
  3. 可靠性图绘制了什么？
    • 训练损失与历元
    • 模型大小与精度
    • 预测概率与观察频率
    • 学习率与批量大小
  4. 预期校准误差 (ECE) 测量：
    • 模型的 top-1 准确率
    • 模型中参数的数量
    • 梯度的方差
    • 跨箱的置信度和准确度之间的加权平均差距
  5. 现代深度神经网络最常被描述为：
    • 过度自信
    • 缺乏自信
    • 默认完美校准
    • 无法输出概率
  6. 为什么高精度模型还需要校准？
    • 准确的模型始终具有零校准误差
    • 精度和校准是不同的属性
    • 校准仅对回归有意义
    • 准确性保证诚实的概率
  7. 在指南的校准工作流程中，温度缩放通常在什么数据上进行拟合？
    • The final test set using classification accuracy
    • Only the training labels without model outputs
    • A held-out validation set using negative log-likelihood
    • The model’s hidden weights using mean squared error
  8. 为什么温度缩放可以在不改变 top-1 准确率的情况下提升校准？
    • It changes the model’s predicted class labels randomly
    • It retrains the feature extractor
    • It replaces every logit with the same value
    • Dividing logits by a positive scalar changes confidence but preserves their ordering