技術指南

從人類回饋中強化學習

Reinforcement learning from human feedback uses human judgments to construct a training signal for a model’s behavior.

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 根據人類回饋強化學習的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

It can improve agreement with collected preferences, but does not guarantee truthful, safe, or universally preferred answers.

深入探討

A pretrained language model predicts plausible text, but plausible is not the same as helpful, honest, or safe. A common RLHF pipeline addresses these goals in stages. First, supervised fine-tuning teaches the model to follow instructions using human-written example answers. Next, humans compare pairs of model responses to the same prompt and pick the better one; these comparisons train a separate reward model that scores any response. Finally, the language model is optimized with reinforcement learning to produce responses the reward model rates highly. A penalty regularizes deviation from a reference policy; it does not eliminate exploitation of reward-model errors. RLHF was central to making ChatGPT-style assistants usable.

現實世界的實施

調整聊天助手,使其拒絕有害的請求,並提供有用的、結構良好的答案,而不僅僅是看似合理的文字。

根據人們的偏好對摘要對進行排名,以訓練一個模型,該模型可以編寫人們實際上認為有用的摘要。

透過獎勵人類評估者認為尊重和安全的反應來減少有毒或有偏見的輸出。

在首選答案與拒絕答案的資料集上使用 DPO 來調整開源模型,而無需執行完整的 PPO 循環。

根據人類回饋強化學習的未來

RLHF 正在簡化並部分自動化。 DPO 和相關的直接偏好方法正在取代許多團隊繁重的 PPO 流程,而 RLAIF 使用人工智慧產生的回饋(如憲法人工智慧)來降低標籤成本。研究正在透過過程監督和辯論等技術來解決獎勵駭客、註釋者偏見以及判斷長篇或專家回應的困難。期望能夠融合人類和人工智慧的回饋,獲得比單一豎起大拇指更豐富的獎勵訊號,以及對誰提供偏好以及他們編碼的價值進行日益嚴格的審查。

付諸實踐

為什麼這很重要

  • 成本與預算. 多年來,架構決策決定著效能和營運成本。
  • 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
  • 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。

留意

  • 優化一項基準測試可以隱藏更廣泛的系統弱點。
  • 基礎設施和維護成本常常被低估。
  • 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。

後續步驟

  1. 在實施之前定義延遲、品質和成本目標。
  2. 在實際負載和資料條件下進行基準測試。
  3. 儀器監控錯誤、漂移和使用者影響。
  4. 在擴展之前準備回滾和事件回應路徑。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

Take the Reinforcement Learning From Human Feedback quiz

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是根據人類回饋進行強化學習?

Reinforcement learning from human feedback uses human judgments to construct a training signal for a model’s behavior. It can improve agreement with collected preferences, but does not guarantee truthful, safe, or universally preferred answers.

RLHF 對於語言模型的主要目的是什麼?

RLHF 引導模型朝著人類喜歡的反應方向發展,使其更加有用、誠實和安全,而不僅僅是看似合理。

RLHF 中的獎勵模型實際上是用來做什麼的?

獎勵模型根據人類偏好比較進行訓練,以對反應進行評分,從而提供策略優化的訊號。

What does a KL-divergence penalty against a reference policy aim to regularize in an RLHF objective?

The penalty discourages large policy shifts. It is not proof that the reward model cannot be exploited or that generated answers are correct.

通常如何為獎勵模型收集偏好資料?

註釋者在成對比較中選擇首選反應,透過 Bradley-Terry 式損失來訓練獎勵模型。

與經典的 RLHF 管道相比,DPO(直接偏好優化)有何優點?

DPO 直接從偏好中得出目標,避免了單獨的獎勵模型和繁瑣的強化學習步驟。