語言人工智慧指南

卡尼曼-特沃斯基優化

Kahneman-Tversky Optimization (KTO) 是一種對齊方法,它從簡單的贊成或反對標籤而不是配對比較中學習。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. Kahneman-Tversky 優化的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

It matters because binary feedback is far easier and cheaper to collect than the ranked pairs most methods demand.

深入探討

KTO 是由 Ethayarajh 及其同事在史丹佛大學和 Contextual AI 於 2024 年推出的,它藉鑒了前景理論,這是 Daniel Kahneman 和 Amos Tversky 的諾貝爾獎獲獎作品,關於人類如何評估得失。像 DPO 這樣的標準方法需要偏好對:針對相同提示選擇的答案和拒絕的答案。相反,KTO 使用不成對的數據,其中每個單獨的輸出都被簡單地標記為所需或不需要。它建構了一種人類感知的損失,將模型對樣本的改進視為相對於參考點的增益或損失,應用損失厭惡,因此對不期望的輸出的懲罰比期望的輸出的獎勵更嚴厲。這使得團隊可以使用生產應用程式中已收集的大量贊成/反對訊號。

現實世界的實施

使用已部署的聊天機器人的“拇指向上/拇指向下”點擊來對其進行微調,而無需構建偏好對

當您有一堆“好”和“壞”答案但沒有針對相同提示的匹配比較時對齊模型

產品團隊將審核標記(不需要)和保存的回應(需要)回收到 KTO 培訓中

透過調整 KTO 的損失厭惡和類別權重,處理不喜歡的回饋比喜歡少的不平衡回饋

Kahneman-Tversky 優化的未來

KTO 非常適合真實產品,使用者會自然地點擊喜歡或不喜歡,但很少並排排列兩個答案。預計回收生產回饋的持續改善循環將得到更廣泛的採用,再加上研究調整所需數據與不需要數據的比率和損失厭惡權重。當團隊尋求從混亂的現實世界訊號中尋求一致性時,將 KTO 的行為經濟學框架與其他目標結合,並將其應用於多模式回饋,是積極的方向。

付諸實踐

為什麼這很重要

  • 速度與規模. 語言工作流程可以在不犧牲一致性的情況下更快地移動。
  • 交通與覆蓋範圍. 它擴展了跨語言和溝通方式的訪問。
  • 更明確的決策. 團隊可以花更多時間進行判斷,而自動化則可以處理重複。

留意

  • 幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
  • 及時的敏感性可能會在類似的請求中產生不一致的結果。
  • 如果存取控制薄弱,敏感文字資料可能會暴露。

後續步驟

  1. 在推出之前定義輸出格式、語氣和品質標準。
  2. 當準確性很重要時,請使用可信任來源進行地面回應。
  3. 為高風險輸出保留人工審查檢查點。
  4. 追蹤故障模式並定期重新訓練提示或工作流程。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

Take the Kahneman-Tversky Optimization quiz

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

What is Kahneman-Tversky Optimization?

Kahneman-Tversky Optimization (KTO) 是一種對齊方法,它從簡單的贊成或反對標籤而不是配對比較中學習。這很重要,因為二進制回饋比大多數方法所需的排名對更容易收集,也更便宜。

KTO 需要什麼樣的數據?

KTO 從簡單的每個範例的贊成/反對標籤中學習,而不是從匹配的偏好對中學習。

KTO 的靈感來自於哪些作品?

KTO借用了前景理論的不對稱評估收益和損失的思想,因此得名。

KTO 中使用的「損失厭惡」是什麼?

前景理論認為,損失比收益更大,因此 KTO 更重視負偏差。

What kind of feedback can KTO learn from without requiring paired comparisons?

KTO’s paper studies alignment from binary desirable/undesirable feedback on individual outputs; it still needs appropriate data and setup.

在 KTO 中,偏差是相對於什麼來測量的?

KTO 的價值函數判斷反應是否高於或低於參考基線,並將其視為收益或損失。