引導式測驗 · 硬 等級

AI 對齊測驗

測試獎勵駭客、RLHF 限制、規範遊戲、評估意識,以及可擴展的監督如何幫助完成難以檢查的任務。

相關引導路徑人工智慧對齊
問題 1 的 8

在聯盟研究中,術語「獎勵黑客」描述什麼?

預覽每個問題8 問題

當您參加測驗時,就會出現答案和解釋。

  1. 在聯盟研究中,術語「獎勵黑客」描述什麼?
    • 由於任務似乎有害而拒絕優化其獎勵的模型
    • 代理利用其獎勵訊號中的缺陷而不是執行預期任務
    • 攻擊者竊取獎勵模型的權重來重新訓練競爭系統
    • 開發者手動提高獎勵值以加快訓練過程中的收斂速度
  2. 在RLHF中,奖励模型的作用是什么?
    • 它透過編寫微調參考答案來完全取代人類評分者
    • 它儲存一個固定的禁止單字列表,該列表永遠不允許策略輸出
    • 它產生新的預訓練文本,因此基礎模型有更多資料可供學習
    • 它從人類偏好比較中學習並對產出進行評分以指導政策
  3. 指南中目標指定錯誤是什麼意思?
    • 當模型識別測試設定時,其行為會有所不同
    • 書面目標無法代表人們的實際意圖
    • 代理在優化代理指標時找到了捷徑
    • 安全更新後模型拒絕所有任務
  4. 哪一個描述符合指引中的工具融合?
    • 用戶在拒絕後更改提示
    • 系統可能會尋求權力或資源,因為它們有助於實現許多可能的目標
    • 從訓練中保留測試集
    • 獎勵模型儲存書面原則
  5. 指南中提到了哪種現代對齊方法?
    • 信用評分通知
    • 上市後事件報告
    • 數據集去重
    • 憲法人工智慧
  6. 「可擴展監督」研究試圖解決什麼問題?
    • 如何在保持精度不變的情況下減少參數數量
    • 人類如何監督人工智慧處理那些難以直接評估的任務
    • 如何在不增加延遲的情況下同時向數百萬用戶提供模型
    • 如何有效地跨多個資料中心擴展訓練集群
  7. 為什麼偏好優化不能證明模型已採用人類意圖作為內部目標?
    • 它提高了平均反應,但並不能證明在轉變或壓力下行為穩定
    • 它阻止模型使用人類偏好數據
    • 它保證模型會忽略每個書面指令
    • 它僅測量 GPU 效率
  8. 為什麼一致性評估可能包括評估意識測驗?
    • 衡量訓練中人類評估者的數量
    • 確定獎勵模型是否有足夠的參數
    • 查看模型在識別測試設定時是否會改變行為
    • 證明一個系統是有意識的