概述
資料集的資料表對訓練資料的作用相同:為什麼收集資料、資料包含什麼、如何收集和標記資料以及如何維護資料。這些文件很重要,因為它們讓買家、使用者、審計員和監管機構判斷系統是否適合其用途,而歐盟人工智慧法案等法律現在也要求類似的文件。
深入探討
模型卡由 Margaret Mitchell 及其同事在 2019 年 ACM FAT* 會議上發表的論文《模型報告的模型卡》中提出。建議的部分包括模型詳細資訊、預期用途、因素(例如人口或環境條件)、指標、評估數據、訓練數據、定量分析、道德考慮以及警告和建議。關鍵思想是分類評估:單獨報告相關子組的績效,而不是作為可以隱藏失敗的平均分數。 Timnit Gebru 及其同事撰寫的資料集資料表於 2018 年首次分發,後來發表在 ACM Communications 上。它藉鑒了電子產品數據表。資料集創建者回答有關動機、組成、收集過程、預處理和標籤、使用、分發和維護的問題。相關格式包括語言資料集和資料卡的資料語句。系統卡自 2022 年起被 Meta 和 OpenAI 使用,並在 2023 年主要用於 GPT-4,記錄了整個部署的系統,包括安全測試和緩解措施,而不僅僅是模型。監管已將這種做法的大部分變成了一項要求。歐盟人工智慧法案要求高風險人工智慧系統提供技術文件,如附件四所示。通用人工智慧模型的提供者必須保存技術文檔,向下游提供者提供信息,並使用委員會範本發布培訓內容摘要。一個常見的誤解是模型卡證明模型是安全的。這是一種披露,而不是一種認證,而且卡片可能不完整、過時或寫得像行銷一樣。它的價值取決於其他人可以複製的誠實限制和評估。
現實世界的實施
評估皮膚病變分類器的醫院讀取其模型卡,發現按膚色單獨報告準確性。然後,它決定在使用之前運行自己的本地驗證。
Hugging Face 模型儲存庫顯示一個模型卡,其中包含列出其許可證、訓練資料集、語言和基準結果的 YAML 元數據,人們可以按這些欄位過濾搜尋結果。
一個研究小組發布了一個語音資料集,其中包含一個資料表,記錄了說話者的同意、錄音條件和代表性不足的口音。
人工智慧實驗室發布了一個聊天機器人系統卡,描述了紅隊結果、安全緩解措施以及仍然存在的風險,超出了基本模型卡的涵蓋範圍。
資料集模型卡和資料表的未來
文件正在從自願的最佳實踐轉向合規性要求。歐盟人工智慧法案、採購規則和 ISO/IEC 42001 等標準都期望有系統建構和測試方式的結構化記錄。機器可讀格式和自動生成可能會變得更加普遍,以便可以檢查和比較卡片。持續存在的挑戰是在模型更新時保持文件準確,在不洩露商業機密或個人資訊的情況下充分揭露訓練數據,並確保讀者在做出決定時實際使用這些文件。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是資料集的模型卡和資料表?
模型卡是一份簡短的結構化文檔,解釋了人工智慧模型的用途、如何評估它、它在不同群體和條件下的表現如何,以及不應該在哪裡使用它。資料集的資料表對訓練資料的作用相同:為什麼收集資料、資料包含什麼、如何收集和標記資料以及如何維護資料。這些文件很重要,因為它們讓買家、使用者、審計員和監管機構判斷系統是否適合其用途,而歐盟人工智慧法案等法律現在也要求類似的文件。
模型卡的主要用途是什麼?
模型卡為讀者提供了判斷模型是否適合特定用途所需的信息,包括模型在哪些方面表現不佳。
誰領導了提出模型卡的論文?
Margaret Mitchell 及其同事於 2019 年在 ACM FAT* 上展示了「模型報告的模型卡」。
什麼是分類評價?
按子組拆分結果會暴露總體平均值可能隱藏的故障。
資料集的資料表借鑒了哪個領域的想法?
電子元件附帶描述其特性的資料表。 Gebru 和同事將這個想法應用於資料集。
系統卡與基本型號卡有何不同?
系統卡(例如 OpenAI 的 GPT-4)描述了已部署產品的風險、紅隊和保障措施。