概述
角色本身可以提高事實準確性的證據很弱,因此當角色帶來對觀眾、標準和輸出的具體期望時,效果最好。
深入探討
角色提示透過條件作用發揮作用。語言模型會預測適合其上下文的文本,而聲明的身份會改變似乎適合的文本類型。 「你是急診醫生」使得臨床詞彙、分類排序和謹慎對沖更有可能。這就是為什麼角色對於風格是可靠的。語域、閱讀程度、格式習慣和觀點都發生了明顯的變化。準確性是一個單獨的問題。角色無法加入模型所沒有的知識。鄭和同事在 2023 年首次發布的一項研究中,根據事實問答基準測試了系統提示中的許多社會角色。添加角色會產生微小且不一致的效果,並且很難提前預測哪個角色會有所幫助。其他關於角色扮演提示的研究報告了一些數學和常識推理任務的進展。一個公平的總結是,人物角色有時會有所幫助,但很少決定結果,並且永遠不會取代背景。當角色暗示清單時,人物角色的回報最大。 「遵循 AP 風格的文案編輯器」意味著特定的規則。 「安全審查員」意味著尋找注入缺陷、弱身份驗證和暴露的秘密。該角色是調用一組標準的緊湊方式,當您詳細說明這些標準時,它會更有幫助。三種常見的誤解: - “世界最佳”等討人喜歡的標籤可以提高品質。幾乎沒有證據證明這一點。 - 角色將模型變成權威。 “醫生”角色並不是醫療建議。 - 角色是無害的。自信的專家聲音可以讓錯誤的答案更有說服力。角色框架也出現在越獄嘗試中。這就是為什麼提供者訓練模型以遵守其安全規則,無論它們被分配什麼角色。實際規則:使用角色來設定受眾和標準,然後提供角色所需的事實、限制和輸出格式。
現實世界的實施
支援團隊設定係統提示「您是我們會計應用程式首次使用者的耐心服務台代理程式。」回覆變得簡短、無行話,但只有當產品文件也出現在提示中時,回覆才是準確的。
一位作者要求模型對草稿「充當持懷疑態度的同行評審員」。這可靠地提出了反駁和微弱的證據,顯示模型預設的幫助語氣趨於軟化。
一位老師要求以「博物館導遊與 10 歲孩子交談」的方式解釋光合作用,然後「以植物生物學家向研究生介紹情況的方式」。同樣的事實在兩個截然不同的細節層面上得到體現。
開發人員發現「您是世界級的 Python 專家」並不能修復模型出錯的錯誤。新增錯誤追蹤、Python 版本和檢查邊緣情況的請求確實修復了該問題。
角色和角色提示的未來
隨著模型越來越善於遵循詳細的說明,與明確的上下文、標準和範例相比,單純的職位名稱可能會越來越不重要。人物角色在產品設計上仍然有用,因為一致的聲音很重要。它們還有助於模擬任務,例如練習工作面試或產生不同的使用者視角進行測試。研究人員正在研究模型在長時間對話中如何維持角色,以及角色如何與安全訓練互動。指南可能會繼續將角色視為眾多槓桿之一,透過測試集進行檢查,而不是假設有幫助。
付諸實踐
為什麼這很重要
- 速度與規模. 語言工作流程可以在不犧牲一致性的情況下更快地移動。
- 交通與覆蓋範圍. 它擴展了跨語言和溝通方式的訪問。
- 更明確的決策. 團隊可以花更多時間進行判斷,而自動化則可以處理重複。
留意
- 幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
- 及時的敏感性可能會在類似的請求中產生不一致的結果。
- 如果存取控制薄弱,敏感文字資料可能會暴露。
後續步驟
- 在推出之前定義輸出格式、語氣和品質標準。
- 當準確性很重要時,請使用可信任來源進行地面回應。
- 為高風險輸出保留人工審查檢查點。
- 追蹤故障模式並定期重新訓練提示或工作流程。
不斷探索
常見問題
什麼是角色和角色提示?
角色或角色提示意味著在給語言模型分配任務之前告訴它採用某種身份,例如“您是高級稅務會計師”。它可靠地改變語氣、詞彙和框架。角色本身可以提高事實準確性的證據很弱,因此當角色帶來對觀眾、標準和輸出的具體期望時,效果最好。
角色提示最可靠地改變模型輸出的什麼?
明確的身份會改變哪種文本似乎適合上下文。這確實改變了風格、語域和觀點,但它無法添加模型所缺乏的知識。
當將角色加入系統提示以回答事實問題時,鄭及其同事的研究發現了什麼?
添加角色會產生微小且不一致的效果,而且很難事先知道哪個角色會有所幫助。這就是為什麼人物角色有時被描述為有幫助但很少具有決定性的原因。
為什麼「安全審查員」這樣的角色往往比「世界上最好的助手」更有用?
當角色暗示具體標準時,它們會帶來最大的回報。安全審查員意味著檢查注入缺陷、弱身份驗證和暴露的秘密。討人喜歡的標籤沒有任何具體含義。
Anthropic 的文件在哪裡建議設定模型的角色?
系統提示中的角色在輪流中持續存在,並被視為操作員指令。在使用者訊息中指定的角色可能會在長時間的對話中逐漸消失。
下列哪一項被描述為對角色提示的誤解?
幾乎沒有證據表明最高級的標籤可以提高品質。其他陳述與指南的建議相符。