技術指南

資料集的模型卡和資料表

模型卡是一份簡短的結構化文檔,解釋了人工智慧模型的用途、如何評估它、它在不同群體和條件下的表現如何,以及不應該在哪裡使用它。

聆聽此指南AI 語音敘述 · ~3 min

本頁閱讀時間3分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 資料集模型卡和資料表的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

資料集的資料表對訓練資料的作用相同:為什麼收集資料、資料包含什麼、如何收集和標記資料以及如何維護資料。這些文件很重要,因為它們讓買家、使用者、審計員和監管機構判斷系統是否適合其用途,而歐盟人工智慧法案等法律現在也要求類似的文件。

深入探討

模型卡由 Margaret Mitchell 及其同事在 2019 年 ACM FAT* 會議上發表的論文《模型報告的模型卡》中提出。建議的部分包括模型詳細資訊、預期用途、因素(例如人口或環境條件)、指標、評估數據、訓練數據、定量分析、道德考慮以及警告和建議。關鍵思想是分類評估:單獨報告相關子組的績效,而不是作為可以隱藏失敗的平均分數。 Timnit Gebru 及其同事撰寫的資料集資料表於 2018 年首次分發,後來發表在 ACM Communications 上。它藉鑒了電子產品數據表。資料集創建者回答有關動機、組成、收集過程、預處理和標籤、使用、分發和維護的問題。相關格式包括語言資料集和資料卡的資料語句。系統卡自 2022 年起被 Meta 和 OpenAI 使用,並在 2023 年主要用於 GPT-4,記錄了整個部署的系統,包括安全測試和緩解措施,而不僅僅是模型。監管已將這種做法的大部分變成了一項要求。歐盟人工智慧法案要求高風險人工智慧系統提供技術文件,如附件四所示。通用人工智慧模型的提供者必須保存技術文檔,向下游提供者提供信息,並使用委員會範本發布培訓內容摘要。一個常見的誤解是模型卡證明模型是安全的。這是一種披露,而不是一種認證,而且卡片可能不完整、過時或寫得像行銷一樣。它的價值取決於其他人可以複製的誠實限制和評估。

現實世界的實施

評估皮膚病變分類器的醫院讀取其模型卡,發現按膚色單獨報告準確性。然後,它決定在使用之前運行自己的本地驗證。

Hugging Face 模型儲存庫顯示一個模型卡,其中包含列出其許可證、訓練資料集、語言和基準結果的 YAML 元數據,人們可以按這些欄位過濾搜尋結果。

一個研究小組發布了一個語音資料集,其中包含一個資料表,記錄了說話者的同意、錄音條件和代表性不足的口音。

人工智慧實驗室發布了一個聊天機器人系統卡,描述了紅隊結果、安全緩解措施以及仍然存在的風險,超出了基本模型卡的涵蓋範圍。

資料集模型卡和資料表的未來

文件正在從自願的最佳實踐轉向合規性要求。歐盟人工智慧法案、採購規則和 ISO/IEC 42001 等標準都期望有系統建構和測試方式的結構化記錄。機器可讀格式和自動生成可能會變得更加普遍,以便可以檢查和比較卡片。持續存在的挑戰是在模型更新時保持文件準確,在不洩露商業機密或個人資訊的情況下充分揭露訓練數據,並確保讀者在做出決定時實際使用這些文件。

付諸實踐

為什麼這很重要

  • 成本與預算. 多年來,架構決策決定著效能和營運成本。
  • 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
  • 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。

留意

  • 優化一項基準測試可以隱藏更廣泛的系統弱點。
  • 基礎設施和維護成本常常被低估。
  • 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。

後續步驟

  1. 在實施之前定義延遲、品質和成本目標。
  2. 在實際負載和資料條件下進行基準測試。
  3. 儀器監控錯誤、漂移和使用者影響。
  4. 在擴展之前準備回滾和事件回應路徑。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加「模型卡片與數據集資料表」測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是資料集的模型卡和資料表?

模型卡是一份簡短的結構化文檔,解釋了人工智慧模型的用途、如何評估它、它在不同群體和條件下的表現如何,以及不應該在哪裡使用它。資料集的資料表對訓練資料的作用相同:為什麼收集資料、資料包含什麼、如何收集和標記資料以及如何維護資料。這些文件很重要,因為它們讓買家、使用者、審計員和監管機構判斷系統是否適合其用途,而歐盟人工智慧法案等法律現在也要求類似的文件。

模型卡的主要用途是什麼?

模型卡為讀者提供了判斷模型是否適合特定用途所需的信息,包括模型在哪些方面表現不佳。

誰領導了提出模型卡的論文?

Margaret Mitchell 及其同事於 2019 年在 ACM FAT* 上展示了「模型報告的模型卡」。

什麼是分類評價?

按子組拆分結果會暴露總體平均值可能隱藏的故障。

資料集的資料表借鑒了哪個領域的想法?

電子元件附帶描述其特性的資料表。 Gebru 和同事將這個想法應用於資料集。

系統卡與基本型號卡有何不同?

系統卡(例如 OpenAI 的 GPT-4)描述了已部署產品的風險、紅隊和保障措施。