概述
Bonferroni 等多重比較程序控制族誤差,而錯誤發現率方法控制在規定條件下被拒絕的假設中錯誤發現的預期比例。
深入探討
α 水準的假設檢定控制其假設下的一個指定檢定的假陽性機率。當測試許多假設時,整個集合中至少一個錯誤拒絕的可能性可能會超過 alpha。如果 20 個獨立的零假設均以 0.05 進行檢驗,則沒有誤報的機率為 0.95 的 20 次方,約為 0.358;因此,出現一個或多個的機率約為 0.642。依賴性改變了這種計算,但基本的多重性問題仍然存在。系列錯誤率 (FWER) 是一個系列中至少出現一次錯誤拒絕的機率。 Bonferroni 過程透過在 alpha 除以 m 處測試 m 個假設中的每一個來控制 FWER,或等效地透過乘以 m 並將上限設為 1 來調整 p 值。它在廣泛的依賴條件下簡單且有效,但可能比較保守,在執行許多測試時會降低功效。 Holm 的降血壓程序也控制 FWER,並且比簡單的 Bonferroni 保守性低。錯誤發現率 (FDR) 是被拒絕的假設中錯誤發現的預期比例,當沒有拒絕時,傳統定義設為零。 Benjamini-Hochberg 將 p 值從小到大排序,並將每個值與排名相關的閾值進行比較。當廣泛的發現有用時,它通常會提供更多的力量,但其保證和解釋取決於有關依賴性和測試過程的假設。 FDR 控制並不表示每個選定的結果都有相同的錯誤機率。根據科學或操作問題定義一系列假設,包括共同的結果、子組和臨時結果。在檢查結果之前選擇錯誤標準。報告測試的數量和性質、調整方法、調整值和效果估計。修正不能修復 p-hacking、不良測量、混淆或無效的測試假設。探索性發現對於產生假設仍然有用,但應將其標記為探索性,並在可能的情況下用新資料進行驗證。
現實世界的實施
假設團隊在顯著水準 0.05 下測試 20 個結果。在獨立真零值下,至少一個誤報的幾率為 1 - 0.95^20,約為 0.64,這說明了為什麼孤立的 p 值閾值會產生誤導。
對於 10 項計劃測試和全族 alpha 0.05,Bonferroni 使用的每次測試閾值為 0.005。 p 值為 0.01 不會通過此調整後的截止值,但解釋仍取決於測試計劃。
一位分析師探索了數千個基因,並使用 Benjamini-Hochberg 程式來控制錯誤發現率,然後將發現視為複製的候選者,而不是已確認的機制。
產品團隊在檢查次要指標之前記錄其主要終點。提前定義測試系列有助於避免僅在看到哪些結果顯著後才選擇修正。
多重比較校正的未來
團隊可以透過預先註冊主要家庭、區分驗證性分析和探索性分析以及在報告中保留所有測試結果,使多重測試結果更加可信。當審查許多相關結果時,分析師應選擇與任何誤報成本與候選發現的有用性一致的修正。調整後,複製和獨立驗證仍然很重要。未來的分析系統可以將比較次數和修正方法與結果一起公開,幫助讀者看到何時從廣泛的搜尋而不是單一計劃的測試中出現了驚人的發現。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是多重比較校正?
測試許多假設會增加獲得至少一個假陽性的機會,即使每個測試都使用相同的名義顯著性水準。 Bonferroni 等多重比較程序控制族誤差,而錯誤發現率方法控制在規定條件下被拒絕的假設中錯誤發現的預期比例。
Bonferroni 的目標是哪一個誤差標準?
Bonferroni 限制了家庭中一次或多次錯誤拒絕的機率。
在被拒絕的假設中,羅斯福關注什麼?
FDR 是根據被拒絕的假設中預期的錯誤發現比例來定義的。
為什麼分析師可能更喜歡使用 FDR 程式來進行大型發現搜尋?
當許多候選發現有用時,FDR 方法可能不如 FWER 控制嚴格。
為什麼在檢查結果之前定義假設族?
修正取決於哪些測試被視為同一分析系列的一部分。
修正後的 p 值不能解決什麼問題?
多重性調整併不能修復有缺陷的研究設計、測量或檢驗假設。