概述
這很重要,因為許多自殺死亡者在死亡前一年都有看過醫療提供者,而臨床醫師未經協助的預測僅略優於機率。即使是強大的模型,也會標記遠多於實際會自殺的人。
深入探討
Most health system models draw on data already in the electronic health record: prior suicide attempts and self-harm diagnoses, mental health and substance use diagnoses, prescriptions, emergency visits and inpatient stays, and screening answers such as item 9 of the PHQ-9, which asks about thoughts of death or self-harm. Methods range from penalized logistic regression to random forests and gradient-boosted trees. Well-known efforts include models from the Mental Health Research Network, which includes Kaiser Permanente sites, work at Vanderbilt University Medical Center, and the VA's REACH VET, launched in 2017, which flags roughly the top 0.1 percent of risk scores for review. Several large studies report good discrimination, meaning the models rank higher-risk patients above lower-risk ones reasonably well. The main misconception is that these models predict who will die. They do not. Suicide is rare in any given month, so even an accurate model produces mostly false positives; most flagged patients will never attempt. The models are best understood as tools for prioritizing limited clinical attention. That makes the response to a flag the real ethical question. Good practice treats a flag as a reason for caring, voluntary outreach: a check-in, a review of the care plan, safety planning, and discussing limits on access to lethal means such as safe firearm storage. Poor practice uses flags punitively or coercively, shares them outside clinical care, or leaves them unexplained to patients. Health systems also need to test performance across racial, ethnic, age and sex groups, because a model trained on past records inherits gaps in who was diagnosed and treated. Outside health care, platforms such as Facebook have used automated detection of suicidal posts since 2017, with much less public validation.
現實世界的實施
美國退伍軍人事務部的REACH VET計畫每月為接受VA照護的退伍軍人打分,當地協調員會與其提供者一起檢視最高風險群,確認照護計畫並安排聯繫。
醫療系統在門診精神健康就診時顯示風險分數,促使臨床醫師執行結構化評估,例如哥倫比亞自殺嚴重度評分量表,而非僅依賴分數本身。
急診部門使用模型標記觸發安全計畫介入,在出院前先進行,之後再以關懷聯繫如簡短追蹤訊息跟進。
醫療系統審核其模型,發現對某一人口群體的表現較差,於是重新校準後再擴大使用。
AI在自殺風險預測的未來
研究人員正探索更豐富的輸入,例如使用語言模型處理的臨床筆記,結合傳統結構化資料,雖然更多輸入會提升隱私疑慮且不保證更好結果。核心的未解問題不在於準確度,而在於影響:標記驅動的方案是否能比良好的常規照護減少自殺未遂與死亡。未來會更強調公平性審核、與患者的透明度,以及將模型與已證實有效的介入(如安全計畫與追蹤聯繫)結合。對於戲劇性準確度提升的聲稱應以前瞻性結果而非回顧性結果來評估。
付諸實踐
為什麼這很重要
- 風險與安全. 災難性和日常的人工智慧危害都取決於誰了解風險以及誰能夠採取行動。
- 更明確的決策. 民眾和專業素養決定強而有力的安全政策在政治上是否可行。
- 突破炒作. 清晰的解釋可以減少炒作、實驗室公關和模糊道德劇場的影響。
留意
- 將存在風險視為科幻小說,同時能力複合。
- 混淆了表面產品安全與高度自治下的對準。
- 只給非英語和非專業觀眾留下低品質的資源。
後續步驟
- 單獨的產品危害、誤用和失控/失調風險。
- 詢問哪些證據會改變您對時間表和嚴重性的看法。
- 比起行銷主張,更喜歡主要來源和具體評估。
- 確定一條行動路徑:職業、政策、資金或技能——而不僅僅是意識。
不斷探索
常見問題
什麼是AI自殺風險預測?
AI自殺風險預測使用建構於健康紀錄的統計與機器學習模型,估計哪些患者在未來數月內有較高的自殺未遂或死亡機率,讓醫療系統能優先進行聯繫與評估。這很重要,因為許多自殺死亡者在死亡前一年都有看過醫療提供者,而臨床醫師未經協助的預測僅略優於機率。即使是強大的模型,也會標記遠多於實際會自殺的人。
一個敏感度與特異度皆為90%的模型應用於100,000名患者中有100人會自殺的情況。大約多少比例的被標記患者實際會自殺?
它會捕捉約90個真實案例,但同時也會標記約9,990名不會自殺的人,因此陽性預測值低於1%。
根據指南,自殺風險模型最適合被理解為什麼?
因為自殺事件稀少,即使是準確的模型大多也會標記不會自殺的人。它們用於決定應將資源集中於何處,而非預測誰會死亡。
VA的REACH VET計畫大約標記多少比例的風險分數供審查?
REACH VET於2017年啟動,約標記最高0.1%的分數供當地協調員與提供者審查。
為什麼醫療系統常依據人力容量設定標記門檻?
只有在有人能對標記採取行動時,標記才有意義,因此門檻會與可用的外聯人員相匹配。
哪種對風險標記的回應符合指南中描述的倫理實踐?
良好實踐將標記視為關懷的理由,進行自願聯繫,包括手段安全,而非懲罰或強制行動。