概述
它不應默默地取代可重複的搜尋策略或審查協議所需的人類資格決定;團隊需要自動化的驗證、文件和透明報告。
深入探討
系統性回顧需要明確的問題、資格標準、全面的搜尋、研究選擇、資料擷取和綜合。這些步驟創建了可追蹤的證據基礎,因此速度不能以未報告的遺漏為代價。人工智慧可以支援多項任務:建議同義詞、刪除重複記錄、對可能相關的摘要進行排名、篩選文字或提取欄位。每個任務都有不同的失敗模式。搜尋助理可以省略資料庫術語;主動學習工具可以將符合條件的文章排名較低;語言模型可以發明效果估計。 PRISMA 2020 要求作者報告檢索來源和日期、完整的檢索策略和選擇過程,包括有多少審查者篩選了記錄、他們是否獨立工作以及使用自動化工具的詳細資訊。該指南是報告標準,不能取代審查設計。 ASReview 文件描述了研究人員在循環篩選中,人們對記錄進行標記,模型對下一個可能的相關記錄進行優先排序。 BMJ 開放式方法論文類似地描述了帶有人工篩選的 ASReview 工作流程。這些例子顯示了人工智慧如何在保留人類決策的同時確定工作的優先順序。審查團隊應在使用自動化之前定義協議,決定支援哪些階段,並在已知的納入研究或代表性樣本上驗證工具。篩選優先順序與安全排除記錄不同。如果該過程在選定數量的無關記錄後停止,請估計錯過合格研究的風險並報告停止規則。全文資格和資料擷取可能需要與標題/摘要排序不同等級的審核。保持搜尋的可重複性:保留資料庫名稱、日期、精確查詢、重複資料刪除規則、軟體和模型版本、提示、決策和審查者更正。當協議或紀律需要時,使用第二位人工審核員。審核錯誤的排除和分歧,並在適當的時候在發布前更新搜尋。人工智慧可以幫助管理數量,但綜述作者仍然對覆蓋範圍、準確性和透明的報告負責。
現實世界的實施
審查小組使用主動學習來優先考慮可能相關的摘要,但會檢查排名較低的記錄樣本是否有遺漏的研究。
研究人員使用語言模型來建議搜尋策略的同義詞,然後與資訊專家一起測試術語並記錄最終的查詢。
提取器從 PDF 提出研究特徵,而審閱者則根據表格和方法驗證值。
一個團隊報告使用了哪些自動化工具、有多少審查者篩選了記錄以及如何解決分歧。
系統評論搜尋人工智慧的未來
隨著模型和資料庫的發展,用於文獻檢索和篩選的人工智慧工具將繼續發生變化。新介面可能支援語義查詢擴充和文件提取,但可重複性和錯過學習的風險仍然是核心。隨著通用工作流程的發展,報告指南可能會添加更多細節。審核團隊應保留精確的搜尋、工具版本、手動決策和驗證結果,以便其他團隊可以理解和更新證據庫。忽略符合條件的研究的篩選決定可能會改變審查的結論。報告自動化如何對記錄進行排序以及審閱者如何在停止之前檢查排名較低的集。
付諸實踐
為什麼這很重要
- 配裝選擇. 應用級設計決定了人工智慧是否能改善實際結果。
- 團隊與工作流程. 良好的工作流程整合可以創造使用者值得信賴的生產力效益。
- 風險與安全. 範圍明確的用例可以減少變更疲勞和實施風險。
留意
- 將損壞的流程自動化可能會加劇現有問題。
- 團隊可能會過度自動化並消除所需的人工判斷。
- 如果不持續評估輸出,品質可能會出現偏差。
後續步驟
- 繪製目前工作流程並確定摩擦最大的步驟。
- 在完全自動化之前定義人工檢查點。
- 對使用者進行提示、升級路徑和品質標準的訓練。
- 追蹤任務級結果以確認持續價值。
不斷探索
常見問題
什麼是用於系統評論搜尋的人工智慧?
人工智慧可以透過擴展搜尋字詞、刪除重複記錄、確定標題和摘要的優先順序或提取資訊來協助系統審查團隊。它不應默默地取代可重複的搜尋策略或審查協議所需的人類資格決定;團隊需要自動化的驗證、文件和透明報告。
在審閱者標記記錄後,主動學習篩選系統通常會做什麼?
研究人員在環工具使用人工標籤來更新篩選優先順序。
PRISMA 2020 要求審查者在適用時報告哪些自動化細節?
PRISMA 的選擇過程項目強調評審方法和自動化。
語言模型從論文中提取結果值。審稿人該做什麼?
應根據原始證據檢查提取錯誤。
為什麼要保留精確的資料庫搜尋字串和日期?
需要搜尋出處來評估覆蓋範圍並重複審查。
基於連續不相關記錄的停止規則需要什麼?
停止規則可能會錯過排名較低的相關研究和需求評估。