引導式測驗 · 中等 等級

機器學習系統測驗中的回饋循環

追蹤模型行為如何影響觀察到的結果和未來的訓練數據,並確定選擇和暴露偏差的保障措施。

問題 1 的 8

推薦者如何創造回饋循環?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 推薦者如何創造回饋循環?
    • 它的曝光選擇會影響後來成為訓練證據的點擊次數
    • 它的預測永遠不會被存儲
    • 其模型權重是固定的
    • 其用戶無法回覆建議
  2. 為什麼被模型篩選出來的申請人可能會缺少招募結果?
    • 他們的標籤總是負面的
    • 他們沒有獲得產生結果的下游機會
    • 該模型自動儲存每個結果
    • 特徵模式刪除標籤
  3. 記錄顯示的項目有助於區分什麼?
    • API 逾時導致 GPU 故障
    • 來自模型參數的訓練數據
    • 使用者偏好證據的曝光機會
    • 來自特徵名稱的標籤
  4. 什麼時候逆傾向評估會不可靠?
    • 當目標策略與日誌記錄策略相符時
    • 當所有傾向都被正確記錄時
    • 當隨機實驗有足夠的數據時
    • 當新策略選擇不支援記錄資料的操作時
  5. 為什麼要按分數或組別監控標籤覆蓋率?
    • 覆蓋率證明模型是公平的
    • 由於模型路由案例的方式不同,觀察率可能會有所不同
    • 分數永遠是結果
    • 每個組別必須有相同的標籤
  6. 哪種資料收集策略可以揭示較少顯示的替代方案的結果?
    • 消除日誌記錄的需要
    • 保證每個建議都是相關的
    • 收集有关确定性政策很少显示的替代方案的证据
    • 讓所有用戶收到相同的物品
  7. 为什么更多的训练数据可能无法消除反馈循环偏差?
    • 偏差總是隨機的
    • 較大的資料集不能包含標籤
    • 訓練從不使用使用者交互
    • 新數據可能由相同的選擇性策略產生
  8. 回饋循環是一種什麼樣的系統屬性?
    • 已部署的社会技术流程及其数据收集的属性
    • 僅梯度計算
    • 模型架構名稱
    • 一種特徵縮放方法