概述
其有用性取決於相關性、測量品質、權限和預期任務的覆蓋範圍。更多記錄不會自動修正系統錯誤或缺失的群體。
重點摘要
- 定義範例的單位。
- 僅使用預測時可用的資訊。
- 追蹤資料來源、缺失和亞組覆蓋範圍。
深入探討
首先定義一個範例代表什麼。一行可能描述一個客戶、一筆交易、一張照片或時間序列中的一個時刻。這些單位決定了重複項、標籤和評估分割的工作方式。一台設備的十次測量不一定是十個獨立的設備。特徵是模型可用的輸入。標籤是監督學習中使用的目標結果。檢查每個功能何時可用:客戶離開後記錄的取消原因無法提前準確預測離開情況。即使該領域看起來具有高度可預測性,這也是一種洩漏形式。檢查缺失值、註釋不一致、異常範圍以及收集方法的變化。缺少的資訊可以承載意義;用零替換每個缺失值可能會將未知量與實際零混為一談。記錄處理方法並在代表性範例上進行測試。記錄資料集的出處和存取規則。單獨的公共 URL 並不能建立為每個目的重複使用每個項目的權限。僅收集任務所需的資訊並定義保留和刪除程序。對組別或條件進行單獨評估,否則誤差會在總體平均值內消失。
04工作範例
尋找取消資料集中的洩漏
想像一下包含註冊日期、每月使用情況、取消日期和取消原因的記錄。
要預測六月初的取消,請凍結該日期的所有輸入。刪除預測時間之後記錄的原因和日期。
在早期的時間段進行訓練,並在稍後的未受影響的時間段進行測試。比較有和沒有洩漏字段的結果。
它顯示了什麼
這個假設的設計練習在令人滿意的分數成為部署決策之前識別出無效的捷徑。
現實世界的實施
在分割識別資料集之前,先分離同一物件的多張照片。
標記超出物理合理範圍的感測器讀數以供審查。
付諸實踐
為什麼這很重要
- 更明確的決策. 它可以幫助您將清晰的技術聲明與行銷語言分開。
- 成本與預算. 在花費金錢或時間之前,您可以提出更好的實施問題。
- 團隊與工作流程. 具有共同理解的團隊可以做出更好的產品、政策和學習決策。
留意
- 不同的團隊可能會以不同的方式使用相同術語,因此請儘早定義範圍。
- 基準測試可能看起來很強大,但實際效能卻參差不齊。
- 忽視數據品質和評估計劃通常會產生脆弱的結果。
後續步驟
- 從您需要的結果的簡單語言定義開始。
- 在測試之前選擇一種成功指標和一種失敗條件。
- 使用代表性資料運行小型試點,而不是完善的演示集。
- 記錄人工智慧和數據在哪些方面有幫助以及在哪些方面更簡單的方法更好。
資料來源與延伸閱讀
- Google資料集特徵
不斷探索
常見問題
大數據集仍然很差嗎?
是的。重複、標籤錯誤、不相關或系統不完整的記錄可能會使大型資料集不適合預期任務。