概述
某些解碼策略使用它來調整採樣,但熵並非事實置信度的校準度量,也不能單獨證明答案是錯誤的。
深入探討
標準解碼在整個生成過程中使用固定的溫度(temperature)和 top-p,但模型的不確定性在每個 token 之間劇烈變化:在「New York」之後幾乎是確定的,但在創意句子的開頭則不確定。基於熵的採樣測量下一個 token 機率分佈的香農熵(有時也包括注意力或 logit 的「varentropy」),並用它來調節解碼。低熵意味著機率質量集中;高熵意味著它更分散。這兩個值都不能確立事實正確性。一些研究原型使用熵或相關統計量來觸發不同的解碼動作,例如分支或檢索,但這些是啟發式方法,其效果需要針對特定任務進行評估。
現實世界的實施
在自信、事實跨度(日期、名字)上自動降低溫度,同時在開放式創意延續中提高溫度。
只有當下一個令牌熵峰值時才觸發額外的思維鍊或推理步驟,從而節省了簡單令牌的計算量。
使用高熵作為幻覺警告,提示系統檢索來源或向使用者標記低可信度。
當模型確實不確定方向時,熵式解碼會分支為多個候選延續。
基於熵的採樣的未來
自適應、感知不確定性的解碼很可能與推理和工具使用相結合:系統可以將分佈統計量作為選擇另一種解碼策略或請求外部證據的一個訊號。單獨的熵不應被呈現為校準的置信度或真相檢測器;任何路由策略都需要針對其任務和使用者進行驗證。
付諸實踐
為什麼這很重要
- 速度與規模. 語言工作流程可以在不犧牲一致性的情況下更快地移動。
- 交通與覆蓋範圍. 它擴展了跨語言和溝通方式的訪問。
- 更明確的決策. 團隊可以花更多時間進行判斷,而自動化則可以處理重複。
留意
- 幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
- 及時的敏感性可能會在類似的請求中產生不一致的結果。
- 如果存取控制薄弱,敏感文字資料可能會暴露。
後續步驟
- 在推出之前定義輸出格式、語氣和品質標準。
- 當準確性很重要時,請使用可信任來源進行地面回應。
- 為高風險輸出保留人工審查檢查點。
- 追蹤故障模式並定期重新訓練提示或工作流程。
不斷探索
常見問題
什麼是基於熵的採樣?
熵概括了模型下一個 token 的機率分佈有多分散。某些解碼策略使用它來調整採樣,但熵並非事實置信度的校準度量,也不能單獨證明答案是錯誤的。
在感知熵的解碼器中,下一個 token 的熵測量什麼?
香農熵概括了分佈的分散程度;它不是直接的真相或正確性測量。
在某些感知熵的解碼方案中,varentropy 測量什麼?
Varentropy 是關於驚訝值變化的分佈統計量,而不是獨立的事實性標籤。
當感知熵的系統看到高熵的下一個 token 分佈時,它可以合理地得出什麼結論?
高熵表示下一個 token 分佈中的不確定性,但並未確立某項聲稱的真相。
使用熵來引導生成有什麼實際限制?
熵引導解碼會改變 Token 的選擇,但事實準確性與校準需要另外評估。
低熵的模型回答同意了使用者的錯誤主張。熵值能確立什麼?
熵是根據模型分佈計算出來的,並非關於事實主張的外部證據。