概述
這包括判斷 AI 是否合適、定義可接受的失敗,以及規劃評估與運作。高模型分數並不代表某功能一定幫助使用者。
重點摘要
- 先從使用者問題說起。
- 分開模型和產品量測。
- 計畫失敗處理與持續評估。
深入探討
從任務本身及目前的替代方案開始。辨識使用者想完成的任務、他們的困難,以及成功成果的樣貌。在投入增加複雜度前,先比較基於模型的方法與更簡單的軟體或更清晰的流程。將模型指標與產品指標分開。預測準確度、檢索召回率或輸出偏好能幫助診斷系統。任務完成度、使用者努力、錯誤復原及有用結果的成本,會評估產品是否真的改善了工作流程。定義可接受行為的界限。包含未支援的請求、不確定性、延遲,以及需要審查的行動。規劃使用者在模型無法協助時,如何修正錯誤、取消工作或尋求其他路徑。發布時附上明確的評估與監控計畫。記錄模型與提示版本,衡量代表性使用者與任務的結果,並調查迴歸分析。避免在產品尚未在實際操作條件下有證據前,將示範變成籠統的承諾。
04工作範例
選擇一個有用的成功指標
想像一位客服助理在變更後關閉更多工單,但客戶卻重新開啟許多工單。
衡量已解決的問題,並與結案率一同重複聯絡。
調查這項變更是否改善了答案,還是僅僅讓未解決工作標記為完成變得更容易。
它顯示了什麼
建構範例將操作數量與其所代表的使用者結果分開。
現實世界的實施
成功定義為以可接受的努力和錯誤率完成使用者任務。
用相同的結果標準,將 AI 功能與現有工作流程做比較。
付諸實踐
為什麼這很重要
- 配裝選擇. 應用級設計決定了人工智慧是否能改善實際結果。
- 團隊與工作流程. 良好的工作流程整合可以創造使用者值得信賴的生產力效益。
- 風險與安全. 範圍明確的用例可以減少變更疲勞和實施風險。
留意
- 將損壞的流程自動化可能會加劇現有問題。
- 團隊可能會過度自動化並消除所需的人工判斷。
- 如果不持續評估輸出,品質可能會出現偏差。
後續步驟
- 繪製目前工作流程並確定摩擦最大的步驟。
- 在完全自動化之前定義人工檢查點。
- 對使用者進行提示、升級路徑和品質標準的訓練。
- 追蹤任務級結果以確認持續價值。
資料來源與延伸閱讀
- Google架構機器學習問題
不斷探索
常見問題
產品團隊應該先選擇型號再定義功能嗎?
從任務、限制條件和成功標準開始。這些要求應該指導模型是否以及如何被使用。