概述
研究基準顯示可能會發生錯誤拒絕,但其比率取決於模型、提示詞和基準;提供合理的背景脈絡可能有助於釐清意圖,同時安全界線仍然適用。
深入探討
Safety systems are intended to prevent assistance that could cause harm. A related failure is over-refusal: the system declines a request that is actually benign. For example, a request about poison may be for theatrical fiction or safety education, while a superficially ordinary request may still seek harmful instructions. Context and intended use matter, but simply adding a benign label does not make a harmful request safe. Researchers have built benchmarks to measure this behavior. OR-Bench generated 80,000 “seemingly toxic” prompts judged benign, plus a 1,000-prompt harder subset and toxic comparison prompts; it evaluated 25 models across eight model families in its 2024 study. Because some prompt labels used model-based moderation and the dataset was designed around particular categories, results should be interpreted within that benchmark rather than as a universal refusal rate for today’s chatbots. Over-refusal can arise from ambiguous wording, missing context, or superficial similarity to harmful prompts. If a legitimate request is declined, clarify the benign goal, setting, and boundaries. Ask for safe, high-level information or a non-actionable alternative when appropriate. Do not use prompt tricks to evade safeguards or request harmful instructions under a false pretext. Model behavior also changes with versions and policies. For product teams, evaluate both false refusals on benign cases and appropriate refusals on harmful cases; reducing all refusals is not the goal. For users, a clear explanation of context may help, but a refusal can remain appropriate where a request would enable harm.
現實世界的實施
使用者解釋關於有害物質的問題是為了緊急安全,並詢問安全的接觸指引。
聊天機器人因為提示詞包含暴力術語而拒絕了無害的歷史分析。
產品團隊測試了無害提示詞,並與使用相似詞彙的有害提示詞進行配對。
使用者要求提供安全替代方案,而不是試圖掩飾被禁止的請求。
為什麼人工智慧會拒絕無害請求的未來
研究人員正在開發更大、更多樣化的過度拒絕基準,但標籤和提示詞類別仍然決定了測得的比率。未來的評估將需要測試細緻的情境,同時在真正有害的請求上保持高拒絕率。產品改進應著重於更好的鑑別能力和有用的安全替代方案,而不是全面抑制拒絕。隨著模型和安全系統的更新,使用者應預期行為會有所不同。基準應繼續在各個基準類別和模型版本中包含良性和有害的對照組。
付諸實踐
為什麼這很重要
- 風險與安全. 災難性和日常的人工智慧危害都取決於誰了解風險以及誰能夠採取行動。
- 更明確的決策. 民眾和專業素養決定強而有力的安全政策在政治上是否可行。
- 突破炒作. 清晰的解釋可以減少炒作、實驗室公關和模糊道德劇場的影響。
留意
- 將存在風險視為科幻小說,同時能力複合。
- 混淆了表面產品安全與高度自治下的對準。
- 只給非英語和非專業觀眾留下低品質的資源。
後續步驟
- 單獨的產品危害、誤用和失控/失調風險。
- 詢問哪些證據會改變您對時間表和嚴重性的看法。
- 比起行銷主張,更喜歡主要來源和具體評估。
- 確定一條行動路徑:職業、政策、資金或技能——而不僅僅是意識。
不斷探索
常見問題
什麼是「為什麼人工智慧會拒絕無害請求」?
過度拒絕是指模型因被誤讀為不安全或禁止而拒絕了良性請求。研究基準顯示可能會發生錯誤拒絕,但其比率取決於模型、提示詞和基準;提供合理的背景脈絡可能有助於釐清意圖,同時安全界線仍然適用。
您會如何定義過度拒絕?
過度拒絕描述的是對實際良性請求的拒絕。
為什麼不應將 OR-Bench 的拒絕率視為普遍標準?
基準設計和模型版本限制了評分能推廣的範圍。
當合理的請求被誤解時,什麼可能有幫助?
背景脈絡有助於區分良性意圖與不安全請求。
過度拒絕緩解的目標是回答每一個請求嗎?
減少過度拒絕不應降低適當的安全拒絕。
產品團隊除了錯誤拒絕外,還應該衡量什麼?
安全評估應同時檢測錯誤接受以及錯誤拒絕。