引導式測驗 · 中等 等級

機率校準測驗

檢查校準定義、可靠性圖、ECE、溫度縮放以及驗證品質與分類準確性不同的原因。

相關引導路徑機率校準
問題 1 的 8

如果在模型標記為 80% 置信度的預測中,以下事件發生,則模型已得到良好校準:

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 如果在模型標記為 80% 置信度的預測中,以下事件發生,則模型已得到良好校準:
    • 大約80%的時間
    • 100%的時間
    • 大約20%的時間
    • 正好一次
  2. 溫度縮放對神經網路的輸出有何影響?
    • 更改預測的類別
    • 在 softmax 之前將 logits 除以學習標量,調整置信度
    • 在訓練標籤中添加噪音
    • 從頭開始重新訓練網絡
  3. 可靠性圖繪製了什麼?
    • 訓練損失與曆元
    • 模型大小與精度
    • 預測機率與觀察頻率
    • 學習率與批量大小
  4. 預期校準誤差 (ECE) 測量:
    • 模型的 top-1 準確率
    • 模型中參數的數量
    • 梯度的方差
    • 跨箱的置信度和準確度之間的加權平均差距
  5. 現代深度神經網路最常被描述為:
    • 過度自信
    • 缺乏自信
    • 預設完美校準
    • 無法輸出機率
  6. 為什麼高精度模型還需要校準?
    • 準確的模型始終具有零校準誤差
    • 精度和校準是不同的屬性
    • 校準僅對迴歸有意義
    • 準確性保證誠實的機率
  7. 在指南的校準工作流程中,溫度縮放通常是以哪種資料來擬合?
    • The final test set using classification accuracy
    • Only the training labels without model outputs
    • A held-out validation set using negative log-likelihood
    • The model’s hidden weights using mean squared error
  8. 為什麼溫度縮放可以提升校準而不改變 top-1 準確率?
    • It changes the model’s predicted class labels randomly
    • It retrains the feature extractor
    • It replaces every logit with the same value
    • Dividing logits by a positive scalar changes confidence but preserves their ordering