語言人工智慧指南

發現人工智慧的假引文

聊天機器人發明引文是因為它們產生看起來正確的文本,而不是它們檢查過的文本。

聆聽此指南AI 語音敘述 · ~3 min

本頁4 分鐘閱讀
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 人工智慧識別虛假引文的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

虛構的參考文獻可以有真實的作者、可信的期刊甚至 DOI。這很重要,因為論文中的虛假或錯誤來源可能會降低你的成績,損害你的可信度,或在專業環境中導致正式製裁。

深入探討

A language model writes by predicting which words are likely to come next. Citations follow a very predictable pattern: author names, a year, a title, a journal, a volume, page numbers and often a DOI. A model has seen millions of real references, so it can produce one that looks perfectly formed and points to nothing. This is not the model lying on purpose. Unless it is connected to a search tool, it has no built-in step that checks whether the reference exists. Bad AI citations come in four kinds. Some are completely made up. Some mix real researchers with a title they never wrote. Some name a real paper but get details wrong, such as the year, the journal or the page numbers. The hardest kind to spot is a real, correctly cited paper that doesn't say what the chatbot claims it says. The consequences are real. In the 2023 case Mata v. Avianca in federal court in New York, lawyers filed a brief citing court cases that ChatGPT had invented, and the judge sanctioned them. To check sources before you submit, first search the exact title in quotes in Google Scholar or your library's database. Second, if there is a DOI, open it through doi.org and confirm the paper it leads to has the same title and authors. Third, check that the authors, year and journal all match. Fourth, open the source and find the passage that supports your claim. Fifth, if you can't verify a source, remove it. A common mistake is asking the chatbot to confirm its own citation. It can produce a confident 'yes' just as easily as it produced the fake reference. Tools that search the web lower the risk but don't remove it, because they can still misstate what a real source says.

現實世界的實施

一名學生要求聊天機器人進行五項有關螢幕時間和睡眠的研究。當她在 Google Scholar 中搜尋引號中的確切標題時,其中兩個不存在,儘管作者是真正的睡眠研究人員。

護理學生獲得帶有 DOI 的推薦信。當他打開 doi.org 時,DOI 會轉到一篇不相關的工程論文,該論文告訴他引文是由看似合理的片段組合而成的。

歷史系學生使用人工智慧搜尋工具連結到真實的期刊文章。當她讀到這篇文章時,文章討論的十年與聊天機器人摘要聲稱的十年不同。

一名研究生詢問聊天機器人它給出的引文是否真實,它自信地說是。不管怎樣,她檢查了圖書館的目錄,沒有找到這樣的書。

人工智慧識別虛假引文的未來

現在,更多的聊天機器人預設搜尋網路並顯示鏈接,這減少了日常使用中完全虛構的參考。然而,錯誤歸因仍然是一個難題,因為需要仔細閱讀才能判斷來源是否真正支持特定的主張。出版商、圖書館和引文工具正在建立更好的方法來自動檢查參考文獻,而某些寫作工具可能會在您提交之前標記無法驗證的引文。這些都不能取代基本習慣:找到來源,打開它並自己閱讀相關段落。學校可能會繼續讓學生對每一次引用負責,無論工具如何建議。

付諸實踐

為什麼這很重要

  • 速度與規模. 語言工作流程可以在不犧牲一致性的情況下更快地移動。
  • 交通與覆蓋範圍. 它擴展了跨語言和溝通方式的訪問。
  • 更明確的決策. 團隊可以花更多時間進行判斷,而自動化則可以處理重複。

留意

  • 幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
  • 及時的敏感性可能會在類似的請求中產生不一致的結果。
  • 如果存取控制薄弱,敏感文字資料可能會暴露。

後續步驟

  1. 在推出之前定義輸出格式、語氣和品質標準。
  2. 當準確性很重要時,請使用可信任來源進行地面回應。
  3. 為高風險輸出保留人工審查檢查點。
  4. 追蹤故障模式並定期重新訓練提示或工作流程。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加「識別人工智慧中的虛假引文」測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是透過人工智慧發現虛假引文?

聊天機器人發明引文是因為它們產生看起來正確的文本,而不是它們檢查過的文本。虛構的參考文獻可以有真實的作者、可信的期刊甚至 DOI。這很重要,因為論文中的虛假或錯誤來源可能會降低你的成績,損害你的可信度,或在專業環境中導致正式製裁。

為什麼聊天機器人可以產生不存在的引文?

如果没有搜索步骤,该模型会生成适合引文模式的文本,并且不会内置检查引用是否存在。

指南认为哪种不良引用最难发现?

当论文存在并且细节正确时,仅阅读它就表明它没有说出聊天机器人所声称的内容。

2023 年马塔诉阿维安卡案发生了什么?

律師們向法院提交了ChatGPT編造的案件陳述,法院對他們進行了製裁。

檢查DOI時,透過doi.org開啟DOI後需要確認什麼?

虛構的 DOI 可能會打開另一篇真實的論文,因此您必須比較標題和作者,而不僅僅是查看連結是否有效。

如果無法驗證來源該怎麼辦?

如果來源無法驗證,則它不屬於您的作品。指南说删除它。