引導式測驗 · 中等 等級

布賴爾分數測驗

使用交付預測和二元結果練習 Brier 分數計算、機率校準和基準比較。

相關引導路徑布賴爾分數
問題 1 的 8

一個包裹有70%的機會遲到並且遲到。根據指南的公式得出哪一個二元 Brier 損失?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 一個包裹有70%的機會遲到並且遲到。根據指南的公式得出哪一個二元 Brier 損失?
    • 0.30
    • 0.09
    • 0.49
    • 0.70
  2. 對於損失分別為 0.04 和 0.09 的兩個地塊,哪一個計算出它們的 Brier 綜合分數?
    • 添加損失以獲得 0.13
    • 減去損失得到 0.05
    • 取較大的損失,0.09
    • 將損失平均得到 0.065
  3. 交付模型報告遲到的機率,但其結果列使用 1 表示準時交付。評估者首先應該解決什麼問題?
    • 使機率和結果指的是同一事件
    • 將所有機率四捨五入為整數
    • 僅使用預計會遲到的包裹
    • 用最大損失取代平均值
  4. 為什麼模型的 Brier 分數可以提高而校準卻沒有提高?
    • 分數忽略了預測機率
    • 分數總是獎勵更高的信心
    • 更好地分離風險組也可以提高分數
    • 校準僅影響多類預測
  5. 當升級很少發生時,哪種比較可以使工單模型的低 Brier 分數提供更多資訊?
    • 將其與根據不同事件率評估的模型進行比較
    • 將其與相同門票的恆定費率基準進行比較
    • 僅比較預測機率超過 0.5 的工單
    • 僅比較模型正確標籤的百分比
  6. 經典 Brier 分解的哪一部分取決於整體事件率?
    • 可靠性
    • 解析度
    • 可靠性和解析度之間的區別
    • 不確定性
  7. 為什麼評估者應該保留 0.6 和 0.9,而不是在評分之前將這兩個交付預測轉換為「遲到」標籤?
    • 四捨五入刪除了 Brier 分數評估的置信度訊息
    • 閾值保留分數所需的所有機率信息
    • 四捨五入使分數成為機率校準的直接衡量標準
    • 僅需保留高於閾值的預測
  8. 兩個軟體報告使用不同的二進位和多類 Brier 約定。在比較數字之前必須檢查哪些細節?
    • 兩個報告是否使用相同的分類閾值
    • 兩個模型是否具有相同的精度
    • 分數標準化和班級排序
    • 每個類別是否收到相同數量的預測