概述
有用的模型必須對新輸入執行預期任務。記住一個數據集或進行令人印象深刻的演示並不足以證明這種能力。
重點摘要
- 在架構之前定義任務。
- 與簡單的基線進行比較。
- 評估故障和下游後果。
深入探討
從具體的預測或決策支援任務開始。預測一個數字就是迴歸;分配類別就是分類。將未標記的範例分組就是聚類。產生新的文字或圖像有不同的目標和評估方法。在定義輸出之前避免選擇流行的架構。實用的工作流程包括資料收集、準備、模型擬合、評估、部署和監控。任何階段都可能出現錯誤。當生產服務更改單位或交換兩個輸入列時,在格式良好的記錄上訓練的模型可能會失敗。在擬合複雜模型之前建立基準。對於預測,先前的值可能是有用的基線;對於分類,最常見的類別提供了最低限度的比較。基線揭示了額外的複雜性是否提供了有用的信息。使用訓練範例來擬合參數並使用單獨的範例來評估效能。使最終測試集免於重複調整。選擇反映錯誤後果的指標,並檢視實際的失敗案例。平均性能良好的系統在罕見但重要的情況下可能仍然無法使用。
04工作範例
在增加複雜性之前打破基線
建立一個包含 80 個普通訊息和 20 個緊急訊息的玩具資料集。總是預測普通的準確率達到 80%。
如果得分 82% 的模型仍然錯過了最緊急的消息,那麼它可能沒有什麼價值。
計算正確識別的緊急訊息和錯誤升級的普通訊息。決定哪種權衡符合實際工作流程。
它顯示了什麼
這些說明性計數顯示了基線和特定於任務的指標如何使評估提供更多資訊。
現實世界的實施
根據歷史觀察預測每日需求。
使用標籤的範例將文件分類到預先定義的類別中。
付諸實踐
為什麼這很重要
- 更明確的決策. 它可以幫助您將清晰的技術聲明與行銷語言分開。
- 成本與預算. 在花費金錢或時間之前,您可以提出更好的實施問題。
- 團隊與工作流程. 具有共同理解的團隊可以做出更好的產品、政策和學習決策。
留意
- 不同的團隊可能會以不同的方式使用相同術語,因此請儘早定義範圍。
- 基準測試可能看起來很強大,但實際效能卻參差不齊。
- 忽視數據品質和評估計劃通常會產生脆弱的結果。
後續步驟
- 從您需要的結果的簡單語言定義開始。
- 在測試之前選擇一種成功指標和一種失敗條件。
- 使用代表性資料運行小型試點,而不是完善的演示集。
- 記錄機器學習基礎知識在哪些方面有幫助以及在哪些方面更簡單的方法更好。
資料來源與延伸閱讀
- Google機器學習簡介
不斷探索
常見問題
每個人工智慧系統都使用機器學習嗎?
不會。有些系統依賴明確的規則、搜尋、最佳化或學習和程式設計組件的組合。