概述
模型實驗需要考慮結果變異數、分配單位、重複測量和多個指標的計劃,而不是依賴通用樣本計數。
深入探討
功效分析將實驗設計檢測的效果與樣本量、結果變異性、顯著性閾值和統計功效聯繫起來。功效是 1 減去指定替代方案下的 II 類錯誤機率。它不是結果為真的機率。最小可偵測效應(MDE)是規劃中使用的效應大小;選擇 MDE 表示關於值得檢測的最小變化的決策閾值。對於將連續平均值與共同標準差 sigma 進行比較的兩個獨立的相等大小的組,對於雙邊測試,每組的粗略正態近似樣本大小為 2*(z_(1-alpha/2)+z_(1-beta))^2*sigma^2/delta^2。當 alpha 為 0.05、冪為 0.80、sigma 10 和 delta 2 時,z 值約為 1.96 和 0.84。計算為2*(2.8)^2*100/4,每組約392個。這是一個假設的近似值,而不是一個通用的處方;精確測試、不平等分配、基線調整和有限樣本變更要求。二元結果、重尾指標、重複測量、群集分配和低流量需要合適的方法。如果使用者按團隊或地區分組,相關結果會減少有效資訊。多個指標或變數比較可能需要多重規劃。實驗持續時間也取決於流量模式、季節性、標籤延遲以及涵蓋完整行為週期的需要。根據相關歷史資料估計變異數和基線率,在發布前定義主要指標和護欄指標、隨機化單位、alpha、效能和 MDE。避免重複檢查傳統的固定範圍 p 值,並在出現顯著性時立即停止,除非使用有效的序貫方法。報告實現了樣本量、置信區間和不確定性。動力不足的實驗可能會錯過有意義的效果;非常大的實驗可以檢測到太小而無關緊要的變化。統計力量支援計劃,但決策價值還取決於營運成本、危害和衡量品質。
現實世界的實施
對於具有連續結果、標準差 10、兩側 alpha 0.05 和檢測平均差 2 的 80% 功效的假設雙臂實驗,常態近似為每臂提供約 392 個獨立觀察值。
預計模型變更只會略微提高點擊率。該團隊在啟動之前計算所需的樣本量,並在符合條件的流量率意味著更長的持續時間時延長實驗。
整群隨機實驗分配的是整個團隊而非人員。團隊內的相似性會減少有效樣本量,因此該計劃會考慮聚類而不是將每個人視為獨立的。
團隊測試了許多模型變體和指標。它調整實驗設計或縮小主要結果範圍,因為多重比較和重複觀察會增加假陽性風險。
模型實驗的統計功效和樣本量的未來
當團隊將 MDE 與有意義的產品決策聯繫起來、使用當前方差估計並模擬流量、群集和延遲結果時,實驗計劃可以改進。主要結果和停止規則的預先註冊使結果更容易解釋。分析師應報告信賴區間和實際影響以及 p 值。隨著模型實驗變得越來越複雜,如果設計正確,順序方法和變異數減少方法可以縮短評估時間。透明的功率計算有助於在用戶開始暴露之前設定對持續時間和不確定性的預期。在交通開始之前記錄分析計劃。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是模型實驗的統計效力和樣本數?
統計功效是實驗在其假設下檢測到指定效應的機率,樣本量規劃估計了選定錯誤率和可檢測效應需要多少數據。模型實驗需要考慮結果變異數、分配單位、重複測量和多個指標的計劃,而不是依賴通用樣本計數。
在所述的雙臂範例中,每組大約需要多少樣本量?
使用 2*(1.96+0.84)^2*10^2/2^2 給出每臂約 392 個觀察值。
如果在其他假設固定的情況下目標 MDE 減半,近似樣本量會如何改變?
樣本大小與效應的平方成反比,因此將其減半會將 n 乘以四。
在指定的替代方案和假設下,80% 的功效意味著什麼?
功效是在替代方案下檢測到指定效果的機率,等於 1-beta。
MDE在規劃中代表什麼?
MDE 是一個規劃效果大小,而不是對觀察到的影響的承諾。
為什麼聚類隨機化通常需要更多觀察?
相對於獨立分配,簇內相關性減少了有效樣本量。