引導式測驗 · 中等 等級
布賴爾分數測驗
使用交付預測和二元結果練習 Brier 分數計算、機率校準和基準比較。
問題 1 的 8
一個包裹有70%的機會遲到並且遲到。根據指南的公式得出哪一個二元 Brier 損失?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 一個包裹有70%的機會遲到並且遲到。根據指南的公式得出哪一個二元 Brier 損失?
- 0.30
- 0.09
- 0.49
- 0.70
- 對於損失分別為 0.04 和 0.09 的兩個地塊,哪一個計算出它們的 Brier 綜合分數?
- 添加損失以獲得 0.13
- 減去損失得到 0.05
- 取較大的損失,0.09
- 將損失平均得到 0.065
- 交付模型報告遲到的機率,但其結果列使用 1 表示準時交付。評估者首先應該解決什麼問題?
- 使機率和結果指的是同一事件
- 將所有機率四捨五入為整數
- 僅使用預計會遲到的包裹
- 用最大損失取代平均值
- 為什麼模型的 Brier 分數可以提高而校準卻沒有提高?
- 分數忽略了預測機率
- 分數總是獎勵更高的信心
- 更好地分離風險組也可以提高分數
- 校準僅影響多類預測
- 當升級很少發生時,哪種比較可以使工單模型的低 Brier 分數提供更多資訊?
- 將其與根據不同事件率評估的模型進行比較
- 將其與相同門票的恆定費率基準進行比較
- 僅比較預測機率超過 0.5 的工單
- 僅比較模型正確標籤的百分比
- 經典 Brier 分解的哪一部分取決於整體事件率?
- 可靠性
- 解析度
- 可靠性和解析度之間的區別
- 不確定性
- 為什麼評估者應該保留 0.6 和 0.9,而不是在評分之前將這兩個交付預測轉換為「遲到」標籤?
- 四捨五入刪除了 Brier 分數評估的置信度訊息
- 閾值保留分數所需的所有機率信息
- 四捨五入使分數成為機率校準的直接衡量標準
- 僅需保留高於閾值的預測
- 兩個軟體報告使用不同的二進位和多類 Brier 約定。在比較數字之前必須檢查哪些細節?
- 兩個報告是否使用相同的分類閾值
- 兩個模型是否具有相同的精度
- 分數標準化和班級排序
- 每個類別是否收到相同數量的預測