概述
這很重要,因為數據問題是人工智慧專案失敗或延遲的最常見原因之一,而且在審計中發現這些問題的成本遠低於模型建立後發現的成本。
深入探討
資料準備情況始終根據特定用例來判斷。相同的數據可能適用於一個項目,但對另一個項目卻毫無用處。审计通常涵盖五个问题。能達到嗎?尋找資料所在的位置、誰擁有它、是否可以透過 API 提取或匯出,以及專案團隊是否擁有許可。鎖定在遺留系統或供應商平台中的資料可能存在,但仍超出實際範圍。夠好嗎?檢查完整性(缺失值)、準確性、跨系統的一致性、及時性和重複性。质量只需足以完成任务即可。完美的數據很少需要,但係統錯誤是危險的,因為模型會學習它們。有標籤嗎?監督學習需要真實的標籤,例如交易是否是欺詐或票據屬於哪個類別。標籤的定義應該一致,並且值得檢查人類貼標籤者之間達成一致的頻率。有代表性嗎?數據應涵蓋系統將遇到的人員、條件和邊緣情況。選擇偏差(例如僅對批准的貸款申請人提供結果)可能會使模型在測試中看起來很準確,但在使用中卻失敗。可以合法使用嗎?檢查同意書、合約、許可證、保密和隱私法。根據歐盟 GDPR,目的限制原則意味著為某一目的收集的資料不能在沒有有效依據的情況下簡單地重複用於不相容的目的。對於具有檢索功能的生成式人工智慧 (RAG),準備就緒也意味著當前的、組織良好的文檔和尊重現有存取權限的檢索。一個常見的誤解是,大量數據意味著您已準備就緒。數量並不能解決偏見、標籤缺失或缺乏合法權利的問題。
現實世界的實施
一家計劃貸款違約模式的銀行有五年的申請,但被拒絕的申請人沒有還款結果。因此,數據無法顯示這些人的表現如何。
一家建造支援聊天機器人的零售商審查了其幫助中心文章,發現許多文章已經過時。在將文章連接到聊天機器人的檢索系統之前,它會分配所有者和審查日期。
一家放射科新創公司發現,其標記的掃描結果均來自兩家使用同一個掃描儀品牌的醫院。這引發了對該模型在使用其他設備的現場表現如何的疑問。
一家想要訓練客戶支援電子郵件模型的歐洲公司詢問其隱私權團隊,其原始 GDPR 法律依據和隱私權聲明是否涵蓋此新目的。
人工智能项目数据准备的未来
資料準備工作正逐漸變得更有工具支援。資料目錄、自動品質監控和沿襲追蹤在企業平台中更為常見,人工智慧輔助標籤可以加快註釋速度,但仍需要人工檢查。關於記錄訓練資料的規則,包括歐盟人工智慧法案的部分內容,可能會使資料集記錄成為更多環境中的合規性要求,而不僅僅是良好實踐。合成數據可能會填補一些空白,但它可能帶有生成數據的偏差,因此仍然需要仔細審查。
付諸實踐
為什麼這很重要
- 配裝選擇. 應用級設計決定了人工智慧是否能改善實際結果。
- 團隊與工作流程. 良好的工作流程整合可以創造使用者值得信賴的生產力效益。
- 風險與安全. 範圍明確的用例可以減少變更疲勞和實施風險。
留意
- 將損壞的流程自動化可能會加劇現有問題。
- 團隊可能會過度自動化並消除所需的人工判斷。
- 如果不持續評估輸出,品質可能會出現偏差。
後續步驟
- 繪製目前工作流程並確定摩擦最大的步驟。
- 在完全自動化之前定義人工檢查點。
- 對使用者進行提示、升級路徑和品質標準的訓練。
- 追蹤任務級結果以確認持續價值。
不斷探索
常見問題
什麼是人工智慧專案的數據準備度?
人工智慧專案的數據準備度意味著可以達到特定用例所需的數據,品質足夠好,在需要的地方進行標記,代表系統將面臨的真實情況,並且可以合法地用於該目的。這很重要,因為數據問題是人工智慧專案失敗或延遲的最常見原因之一,而且在審計中發現這些問題的成本遠低於模型建立後發現的成本。
銀行僅對批准的申請人提供還款結果。這顯示了哪些資料準備問題?
結果僅適用於獲得批准的人,因此數據並不代表模型將評分的每個人。這可以使測試看起來比實際性能更好。
模型訓練中的資料外洩是什麼?
像「集合狀態」這樣的欄位顯示了預設結果,因此模型在測試中看起來很準確,但在進行實際預測時無法使用該資訊。
GDPR 的哪一項原則限制將出於某一目的收集的資料重複用於不相容的新目的?
目的限制是指為特定目的收集的資料不應在沒有有效依據的情況下以不相容的方式重複使用。這就是這家歐洲公司與其隱私團隊進行核實的原因。
在人工智慧專案的資料準備度中:Cohen 的 kappa 衡量什麼?
Kappa 顯示貼標者在隨機機會產生的情況之外的一致程度,這反映了您的基本事實的可靠性。
為什麼產生人工智慧助理的檢索需要尊重現有的存取權限?
如果檢索忽略權限,聊天機器人可以向任何詢問的人顯示機密內容,即使來源系統會阻止該使用者。