概述
對於機器學習工作,實際技能是選擇正確的分母,檢查資料的採樣方式並解釋結果未建立的內容。
深入探討
首先將觀察到的數量與您想要了解的總體或過程區分開來。樣本平均值描述了收集的記錄,但有偏差的抽樣過程可能會誤導更廣泛的人口。檢查缺失的觀察結果、重複的實體以及如何選擇範例。更多行不會自動修復選擇偏差或使相關觀察值獨立。一起學習分佈和摘要。對於說明性值 [0, 0, 0, 20],平均值為 5,中位數為 0。這兩個數字本質上都不是錯誤的;每個都回答了有關數據的不同問題。在將平均值作為完整描述之前,請檢查價差和異常值。條件機率會改變所考慮的組別。警報中真實事件的比例與所有已警報的真實事件的比例不同。假設一個玩具資料集包含 1,000 個案例,其中包括 10 個真實事件。系統標記所有 10 個事件和 90 個其他案例。其警報精度為10除以100,即10%;它的召回率為 10 除以 10,即 100%。這些發明的計數顯示了為什麼高召回率可以與許多錯誤警報共存。不確定性估計取決於假設和評估設計。在通常的頻率論解釋中,95% 置信度程序涵蓋了其假設下 95% 的重複樣本中的固定總體參數;它並不保證每個結果區間都包含真相。將最終測試數據與重複調整分開,並檢查重要組別和平均值。預測也不同於因果關係:單獨的關聯並不能顯示如果有人更改輸入會發生什麼。
現實世界的實施
分析師報告 [0, 0, 0, 20] 的平均值(即 5)及其中位數(即 0),以顯示大值對摘要的影響。
詐欺團隊在 100 個警報中發現 10 個真實事件,並報告 10% 的警報精度,而不是將其與偵測到的事件比例混淆。
評估者在建構保留分割時將同一個人的重複記錄保存在一起。
研究人員陳述了區間估計背後的假設,而不是將一個觀察到的區間視為保證。
機器學習職業的機率與統計的未來
評估工具可能會使不確定性區間和子群組摘要更容易生成,但自動輸出本身不會選擇正確的總體或抽樣設計。如果團隊保留相關元數據,更容易存取的診斷可能會暴露缺失的群組或不穩定的估計。從業者仍然需要解釋分母,區分預測和乾預,並將錯誤與實際後果聯繫起來。隨著工作流程的變化,保持評估問題的明確性,並重新審視有關獨立性和代表性的假設。統計知識有助於確定證據支持哪些主張,而不是讓每個分數看起來更精確。
付諸實踐
為什麼這很重要
- 更明確的決策. 它可以幫助您將清晰的技術聲明與行銷語言分開。
- 成本與預算. 在花費金錢或時間之前,您可以提出更好的實施問題。
- 團隊與工作流程. 具有共同理解的團隊可以做出更好的產品、政策和學習決策。
留意
- 不同的團隊可能會以不同的方式使用相同術語,因此請儘早定義範圍。
- 基準測試可能看起來很強大,但實際效能卻參差不齊。
- 忽視數據品質和評估計劃通常會產生脆弱的結果。
後續步驟
- 從您需要的結果的簡單語言定義開始。
- 在測試之前選擇一種成功指標和一種失敗條件。
- 使用代表性資料運行小型試點,而不是完善的演示集。
- 記錄機器學習職業的機率和統計在哪些方面有幫助以及在哪些方面更簡單的方法更好。
不斷探索
常見問題
什麼是機器學習職業的機率和統計?
機率描述了既定假設下的不確定性,而統計學則使用觀察值來估計和評估模式。對於機器學習工作,實際技能是選擇正確的分母,檢查資料的採樣方式並解釋結果未建立的內容。
對於 [0, 0, 0, 20],哪一個平均數和中位數是正確的?
四個值的總和為 20,平均值為 5;兩個中間值都為零。
系統發出 100 個警報,其中 10 個識別真實事件。它的精度是多少?
精度是真實警報除以所有警報:10/100=10%。
同一系統標記資料集中存在的所有 10 個真實事件。它的召回率是多少?
召回率是偵測到的真實事件除以所有真實事件:10/10=100%。
資料集添加了透過相同的偏見選擇過程收集的更多行。什麼是不保證的?
增加樣本量本身並不能消除選擇偏差。
為什麼一個人的重複記錄需要在堅持分裂中保留在一起?
相關記錄可能會洩漏整個拆分中的特定於實體的資訊。