人工智慧幻覺
人工智慧幻覺是指模型流暢而自信地陳述一些錯誤的東西，就好像它是真的一樣——虛假的引文、捏造的統計數據、錯誤的事實。
概述
It is the single biggest trust problem with today's language models.
深入探討
幻觉并不是通常意义上的错误。他们脱离了模型的运作方式。語言模型被訓練來產生統計上合理的文本，而不是驗證事實。當它遇到差距時——它從未了解過的事實，或者在訓練中沒有明確答案的問題——它不會說「我不知道」。相反，它會產生聽起來最有可能的延續，這可能是一個自信的捏造。輸出讀取流暢，因此很容易錯過錯誤。常見的形式包括虛構的書名或法律案例、虛假網址、錯誤引用的引文以及看似合理但錯誤的數字。它們在醫學、法律和金融等高風險環境中尤其危險，在這些環境中，流暢的錯誤答案可能比明顯的錯誤答案更昂貴。重要的是，即使提供了正確的文檔，模型仍然可能矛盾或忽略它們。
技術洞察
根本原因是訓練目標：預測下一個標記以最大程度地提高可信度，沒有內建的真實性檢查，也沒有可靠的內部訊號來表示「我不確定」。檢索增強生成（RAG）透過在提示中註入真實的來源文件來提供幫助，但這並不是治癒方法——研究表明，當檢索有雜訊或模型的內部「知識」與檢索到的文字發生衝突時，模型仍然會產生幻覺。其他緩解措施包括將答案納入引文、對檢索到的證據進行重新排名，以及獎勵忠實的、有來源支持的輸出的偏好微調。
戰略影響
速度與規模
語言工作流程可以在不犧牲一致性的情況下更快地移動。
交通與覆蓋範圍
它擴展了跨語言和溝通方式的訪問。
更明確的決策
團隊可以花更多時間進行判斷，而自動化則可以處理重複。
人工智能幻觉的未来
幻覺將會減少，而不是消除──它們與這些模型的機率核心有關。期望更好的校準（表明不確定性的模型），透過可驗證的引用更緊密的基礎，自動自我檢查和事實驗證通過，以及「放棄」模型拒絕而不是猜測的行為。基準和監管將促使供應商報告幻覺率。目前，實際的答案是人工審查加上檢索和驗證，尤其是在確信錯誤答案的成本很高的地方。
現實世界的實施
法律助理引用不存在的法庭案件，姓名和案件編號看起來很逼真
當被要求提供來源時，聊天機器人發明了一篇看似合理但虛假的學術論文和作者
編碼助手呼叫從未真實存在的函式庫函數或 API 參數
醫學總結者陳述的自信劑量與所提供的來源文件相矛盾
風險與防護欄
幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
及時的敏感性可能會在類似的請求中產生不一致的結果。
如果存取控制薄弱，敏感文字資料可能會暴露。
實施路線圖
在推出之前定義輸出格式、語氣和品質標準。
當準確性很重要時，請使用可信任來源進行地面回應。
為高風險輸出保留人工審查檢查點。
追蹤故障模式並定期重新訓練提示或工作流程。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the AI Hallucinations quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is AI Hallucinations?
人工智慧幻覺是指模型流暢而自信地陳述一些錯誤的東西，就好像它是真的一樣——虛假的引文、捏造的統計數據、錯誤的事實。這是當今語言模型中最大的信任問題。
語言模型產生幻覺的核心原因是什麼？
模型針對統計上可能的下一個標記進行最佳化。由於沒有內建的真實性檢查，它們用聽起來合理但可能是錯誤的輸出來填補空白。
為什麼幻覺特別危險？
由於錯誤輸出流暢且自信，因此它與正確答案融為一體，很容易讓用戶信任。
檢索增強生成（RAG）能否完全消除幻覺？
RAG 透過將答案建立在真實來源的基礎上來減少幻覺，但當檢索不完善或與內部知識衝突時，模型仍然可能會產生幻覺。
哪個才是幻覺的真實例子？
發明一個不存在但看起來很現實的引文是一種典型的幻覺——自信、具體和錯誤。
哪一種方法是公認的減少幻覺的方法？
以真實文件為基礎、引用消息來源、重新排列證據以及對忠誠度進行偏好調整都有助於減少捏造。