引導式測驗 · 中等 等級

什麼是 AI 信心分數的真正含義測驗

解釋校準、群體層級的意義、閾值選擇、子群體檢查,以及為什麼模型的信心分數不是一項保證。

相關引導路徑AI 信心分數的含義
問題 1 的 8

經過校準的二元分類器為許多情況分配 0.8 的置信度。隨著時間的推移,該群體會發生什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 經過校準的二元分類器為許多情況分配 0.8 的置信度。隨著時間的推移,該群體會發生什麼?
    • 在夠大且具代表性的群體中,大約百分之 80 應該是正面結果
    • 每一個個別案例都必須正確
    • 模型必須對每個案例都放棄預測
    • 分數必須等於每個子群體的準確度
  2. 在解釋產品的「90% 置信度」標誌之前,您應該問什麼?
    • 數字使用的是不是大字型
    • 分數是否為校準後的機率以及它預測的是什麼結果
    • 產品是否有深色主題
    • 模型是否是以 Python 編寫的
  3. 為什麼校準資料應與模型的訓練資料分開?
    • 讓每一個輸出都等於 0.5
    • 免除對標籤的需求
    • 降低模型已擬合範例過度樂觀的估計
    • 保證未來不會發生分佈偏移
  4. 模型是整體校準的,但不是針對某一語言組的。接下來是什麼?
    • 整體分數對每個使用者來說都足夠了
    • 必須從評估中移除語言群組
    • 校準並不重要
    • 工作流程應檢查子群體結果並調整使用方式或校準
  5. 在這種情況下,歧視衡量什麼?
    • 模型對不同結果的案例進行排序的能力有多好
    • 分數是否顯示為百分比
    • 使用者是否可以更改閾值
    • 模型運行的速度有多快
  6. 當選擇自動化閾值時,什麼才是重要的?
    • 分數中的小數位數
    • 實際工作流程中誤接受和誤拒絕的成本
    • The model's training language only
    • Whether the threshold is a round number
  7. Why are token probabilities not automatically a factuality score for an entire generated answer?
    • They cannot be stored
    • 它們始終為零
    • They measure token likelihoods, not a validated probability that the response is correct
    • They only apply to images
  8. A low-confidence case could cause serious harm. Which workflow response is appropriate?
    • Hide the score and auto-approve it
    • Round the score upward
    • Assume calibration makes the case correct
    • Escalate or abstain according to a tested workflow