深入探討
Berglund 及其同事在 2023 年發表的一篇論文中記錄了逆轉詛咒,表明如果一個模型接受“湯姆·克魯斯的母親是瑪麗·李·菲佛”的訓練,當被問到“誰是瑪麗·李·菲佛的兒子?”時,它經常會失敗。即使答案在邏輯上是相同的。即使在對數百個此類事實進行微調之後,這種效應仍然存在於不同的模型大小中。這不是記憶間隙:模型已經看到了訊息,但只是按照一個順序。由於訓練根據資料中的確切詞序優化了下一個標記預測,因此從 A 到 B 的統計連結不會自動建立從 B 到 A 的連結。這項發現挑戰了僅靠規模就能對事實進行靈活、類人推理的假設。
現實世界的實施
聊天機器人正確地說出了名人的父母,但當被要求說出該父母的著名孩子的名字時卻失敗了。
一位模特兒背誦“第九任總統是威廉·亨利·哈里森”,但卻偶然發現“威廉·亨利·哈里森是第幾個總統”。
學習了函數到描述映射的編碼助手無法僅從描述中恢復函數名稱。
當被問及什麼治療 Y 病症時,接受過「藥物 X 治療 Y 病症」訓練的醫療 QA 系統未能列出藥物 X。
法學碩士逆轉詛咒的未來
正在研究的緩解措施包括雙向資料增強(添加反向短語)、雙向預測標記的訓練目標以及對稱查找事實而不是依賴記憶權重的檢索系統。一些較新的架構和反向預訓練實驗縮小了差距。預計詛咒會縮小但不會消失,因為它暴露了下一個令牌學習與現實世界關係的對稱結構之間的深度不匹配。
付諸實踐
為什麼這很重要
- 速度與規模. 語言工作流程可以在不犧牲一致性的情況下更快地移動。
- 交通與覆蓋範圍. 它擴展了跨語言和溝通方式的訪問。
- 更明確的決策. 團隊可以花更多時間進行判斷,而自動化則可以處理重複。
留意
- 幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
- 及時的敏感性可能會在類似的請求中產生不一致的結果。
- 如果存取控制薄弱,敏感文字資料可能會暴露。
後續步驟
- 在推出之前定義輸出格式、語氣和品質標準。
- 當準確性很重要時,請使用可信任來源進行地面回應。
- 為高風險輸出保留人工審查檢查點。
- 追蹤故障模式並定期重新訓練提示或工作流程。
不斷探索
常見問題
LLM 中的逆轉詛咒是什麼?
逆轉詛咒是一種令人驚訝的失敗模式,學習「A 是 B」的語言模型無法可靠地回答「B 是 A」。它揭示了法學碩士將事實儲存為單向關聯,而不是對稱知識。
模型學習了“A 是 B”,但未能回答“B 是 A”。這叫什麼?
該論文將這種方向性失敗稱為逆轉詛咒。
方向關聯的逆轉詛咒顯示了什麼?
論文報告稱,正向和反向語句的行為可能不同。
逆轉詛咒只是因為模型從未看到事實而失敗嗎?
研究測試了前向曝光後反向查詢的失敗情況。
為什麼下一個令牌訓練可能有助於這種效果?
本文討論了與故障相關的序列方向。
反向查詢失敗對模型知識意味著什麼?
這項發現挑戰了有關靈活使用儲存事實的假設。