引導式測驗 · 中等 等級
機率校準測驗
檢查校準定義、可靠性圖、ECE、溫度縮放以及驗證品質與分類準確性不同的原因。
問題 1 的 8
如果在模型標記為 80% 置信度的預測中,以下事件發生,則模型已得到良好校準:
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 如果在模型標記為 80% 置信度的預測中,以下事件發生,則模型已得到良好校準:
- 大約80%的時間
- 100%的時間
- 大約20%的時間
- 正好一次
- 溫度縮放對神經網路的輸出有何影響?
- 更改預測的類別
- 在 softmax 之前將 logits 除以學習標量,調整置信度
- 在訓練標籤中添加噪音
- 從頭開始重新訓練網絡
- 可靠性圖繪製了什麼?
- 訓練損失與曆元
- 模型大小與精度
- 預測機率與觀察頻率
- 學習率與批量大小
- 預期校準誤差 (ECE) 測量:
- 模型的 top-1 準確率
- 模型中參數的數量
- 梯度的方差
- 跨箱的置信度和準確度之間的加權平均差距
- 現代深度神經網路最常被描述為:
- 過度自信
- 缺乏自信
- 預設完美校準
- 無法輸出機率
- 為什麼高精度模型還需要校準?
- 準確的模型始終具有零校準誤差
- 精度和校準是不同的屬性
- 校準僅對迴歸有意義
- 準確性保證誠實的機率
- 在指南的校準工作流程中,溫度縮放通常是以哪種資料來擬合?
- The final test set using classification accuracy
- Only the training labels without model outputs
- A held-out validation set using negative log-likelihood
- The model’s hidden weights using mean squared error
- 為什麼溫度縮放可以提升校準而不改變 top-1 準確率?
- It changes the model’s predicted class labels randomly
- It retrains the feature extractor
- It replaces every logit with the same value
- Dividing logits by a positive scalar changes confidence but preserves their ordering