引導式測驗 · 硬 等級
AI 對齊測驗
測試獎勵駭客、RLHF 限制、規範遊戲、評估意識,以及可擴展的監督如何幫助完成難以檢查的任務。
問題 1 的 8
在聯盟研究中,術語「獎勵黑客」描述什麼?
預覽每個問題8 問題
當您參加測驗時,就會出現答案和解釋。
- 在聯盟研究中,術語「獎勵黑客」描述什麼?
- 由於任務似乎有害而拒絕優化其獎勵的模型
- 代理利用其獎勵訊號中的缺陷而不是執行預期任務
- 攻擊者竊取獎勵模型的權重來重新訓練競爭系統
- 開發者手動提高獎勵值以加快訓練過程中的收斂速度
- 在RLHF中,奖励模型的作用是什么?
- 它透過編寫微調參考答案來完全取代人類評分者
- 它儲存一個固定的禁止單字列表,該列表永遠不允許策略輸出
- 它產生新的預訓練文本,因此基礎模型有更多資料可供學習
- 它從人類偏好比較中學習並對產出進行評分以指導政策
- 指南中目標指定錯誤是什麼意思?
- 當模型識別測試設定時,其行為會有所不同
- 書面目標無法代表人們的實際意圖
- 代理在優化代理指標時找到了捷徑
- 安全更新後模型拒絕所有任務
- 哪一個描述符合指引中的工具融合?
- 用戶在拒絕後更改提示
- 系統可能會尋求權力或資源,因為它們有助於實現許多可能的目標
- 從訓練中保留測試集
- 獎勵模型儲存書面原則
- 指南中提到了哪種現代對齊方法?
- 信用評分通知
- 上市後事件報告
- 數據集去重
- 憲法人工智慧
- 「可擴展監督」研究試圖解決什麼問題?
- 如何在保持精度不變的情況下減少參數數量
- 人類如何監督人工智慧處理那些難以直接評估的任務
- 如何在不增加延遲的情況下同時向數百萬用戶提供模型
- 如何有效地跨多個資料中心擴展訓練集群
- 為什麼偏好優化不能證明模型已採用人類意圖作為內部目標?
- 它提高了平均反應,但並不能證明在轉變或壓力下行為穩定
- 它阻止模型使用人類偏好數據
- 它保證模型會忽略每個書面指令
- 它僅測量 GPU 效率
- 為什麼一致性評估可能包括評估意識測驗?
- 衡量訓練中人類評估者的數量
- 確定獎勵模型是否有足夠的參數
- 查看模型在識別測試設定時是否會改變行為
- 證明一個系統是有意識的