HƯỚNG DẪN KỸ THUẬT

Thẻ mẫu và bảng dữ liệu cho bộ dữ liệu

Thẻ mô hình là một tài liệu ngắn, có cấu trúc giải thích mục đích của mô hình AI, cách đánh giá, hiệu suất của mô hình đối với các nhóm và điều kiện khác nhau cũng như nơi không nên sử dụng mô hình đó.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyĐọc trong 3 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của Thẻ mẫu và Bảng dữ liệu cho Bộ dữ liệu
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Bảng dữ liệu dành cho các tập dữ liệu cũng thực hiện tương tự đối với dữ liệu huấn luyện: lý do dữ liệu được thu thập, dữ liệu chứa gì, cách thu thập và gắn nhãn cũng như cách duy trì dữ liệu. Những tài liệu này quan trọng vì chúng cho phép người mua, người dùng, kiểm toán viên và cơ quan quản lý đánh giá liệu hệ thống có phù hợp với mục đích hay không và các luật như Đạo luật AI của EU hiện yêu cầu tài liệu tương tự.

Lặn sâu

Thẻ mô hình đã được Margaret Mitchell và các đồng nghiệp đề xuất trong bài báo "Thẻ mẫu cho báo cáo mẫu", được trình bày tại hội nghị ACM FAT* năm 2019. Các phần được đề xuất là chi tiết mô hình, mục đích sử dụng, các yếu tố (chẳng hạn như điều kiện nhân khẩu học hoặc môi trường), số liệu, dữ liệu đánh giá, dữ liệu đào tạo, phân tích định lượng, cân nhắc về đạo đức, cảnh báo và khuyến nghị. Ý tưởng chính là đánh giá tách rời: báo cáo hiệu suất riêng biệt cho các nhóm nhỏ có liên quan thay vì một điểm trung bình có thể che giấu thất bại. Bảng dữ liệu cho Bộ dữ liệu của Timnit Gebru và các đồng nghiệp, được lưu hành lần đầu tiên vào năm 2018 và sau đó được xuất bản trên tạp chí Communications of the ACM. Nó mượn từ bảng dữ liệu điện tử. Người tạo tập dữ liệu trả lời các câu hỏi về động lực, thành phần, quy trình thu thập, tiền xử lý và ghi nhãn, cách sử dụng, phân phối và bảo trì. Các định dạng liên quan bao gồm báo cáo dữ liệu cho bộ dữ liệu ngôn ngữ và thẻ dữ liệu. Thẻ hệ thống, được Meta và OpenAI sử dụng từ năm 2022 và nổi bật là GPT-4 vào năm 2023, ghi lại toàn bộ hệ thống được triển khai, bao gồm kiểm tra an toàn và giảm thiểu, thay vì chỉ mô hình. Quy định đã biến phần lớn hoạt động này thành một yêu cầu. Đạo luật AI của EU yêu cầu tài liệu kỹ thuật dành cho các hệ thống AI có rủi ro cao, được quy định trong Phụ lục IV. Các nhà cung cấp mô hình AI có mục đích chung phải lưu giữ tài liệu kỹ thuật, cung cấp thông tin cho các nhà cung cấp cấp dưới và xuất bản bản tóm tắt nội dung đào tạo bằng mẫu của Ủy ban. Một quan niệm sai lầm phổ biến là thẻ mô hình chứng minh mô hình đó là an toàn. Đó là một bản tiết lộ chứ không phải một chứng nhận và thẻ có thể không đầy đủ, lỗi thời hoặc được viết như tiếp thị. Giá trị của nó phụ thuộc vào những giới hạn và đánh giá trung thực mà người khác có thể mô phỏng lại.

Triển khai trong thế giới thực

Một bệnh viện đánh giá bộ phân loại tổn thương da đọc thẻ mô hình của nó và nhận thấy độ chính xác được báo cáo riêng biệt theo tông màu da. Sau đó, nó quyết định chạy xác thực cục bộ của chính nó trước khi sử dụng.

Kho lưu trữ mô hình Hugging Face hiển thị thẻ mô hình có siêu dữ liệu YAML liệt kê giấy phép, tập dữ liệu đào tạo, ngôn ngữ và kết quả điểm chuẩn và mọi người có thể lọc kết quả tìm kiếm theo các trường đó.

Một nhóm nghiên cứu xuất bản một tập dữ liệu giọng nói kèm theo một biểu dữ liệu ghi lại sự đồng ý của người nói, các điều kiện ghi âm và các giọng chưa được thể hiện đầy đủ.

Phòng thí nghiệm AI phát hành thẻ hệ thống cho chatbot mô tả kết quả của nhóm đỏ, các biện pháp giảm thiểu an toàn và những rủi ro còn tồn tại, ngoài phạm vi mà thẻ mô hình cơ bản có thể đề cập.

Tương lai của Thẻ mẫu và Bảng dữ liệu cho Bộ dữ liệu

Tài liệu đang chuyển từ phương pháp thực hành tốt nhất mang tính tự nguyện sang yêu cầu tuân thủ. Đạo luật AI của EU, các quy tắc và tiêu chuẩn mua sắm như ISO/IEC 42001 đều yêu cầu hồ sơ có cấu trúc về cách xây dựng và thử nghiệm một hệ thống. Các định dạng có thể đọc được bằng máy và việc tạo tự động có thể sẽ trở nên phổ biến hơn, do đó thẻ có thể được kiểm tra và so sánh. Những thách thức đang diễn ra là giữ cho tài liệu luôn chính xác khi các mô hình được cập nhật, tiết lộ đầy đủ về dữ liệu đào tạo mà không để lộ bí mật thương mại hoặc thông tin cá nhân và đảm bảo người đọc thực sự sử dụng tài liệu khi quyết định.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Chi phí và ngân sách. Các quyết định về kiến ​​trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
  • Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
  • Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.

coi chừng

  • Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
  • Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
  • Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.

Các bước tiếp theo

  1. Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
  2. Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
  3. Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
  4. Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Take the Model Cards and Datasheets for Datasets quiz

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

Thẻ mẫu và bảng dữ liệu cho bộ dữ liệu là gì?

Thẻ mô hình là một tài liệu ngắn, có cấu trúc giải thích mục đích của mô hình AI, cách đánh giá, hiệu suất của mô hình đối với các nhóm và điều kiện khác nhau cũng như nơi không nên sử dụng mô hình đó. Bảng dữ liệu dành cho các tập dữ liệu cũng thực hiện tương tự đối với dữ liệu huấn luyện: lý do dữ liệu được thu thập, dữ liệu chứa gì, cách thu thập và gắn nhãn cũng như cách duy trì dữ liệu. Những tài liệu này quan trọng vì chúng cho phép người mua, người dùng, kiểm toán viên và cơ quan quản lý đánh giá liệu hệ thống có phù hợp với mục đích hay không và các luật như Đạo luật AI của EU hiện yêu cầu tài liệu tương tự.

Mục đích chính của thẻ mẫu là gì?

Thẻ mô hình cung cấp cho người đọc những thông tin họ cần để đánh giá liệu một mô hình có phù hợp với mục đích sử dụng cụ thể hay không, bao gồm cả những điểm nó hoạt động kém.

Ai là người đứng đầu tờ báo đề xuất thẻ mô hình?

Margaret Mitchell và các đồng nghiệp đã trình bày "Thẻ mẫu cho báo cáo mẫu" tại ACM FAT* năm 2019.

Đánh giá phân tách là gì?

Việc chia kết quả theo nhóm con sẽ làm lộ ra những sai sót mà mức trung bình tổng thể sẽ che giấu.

Bảng dữ liệu cho Bộ dữ liệu mượn ý tưởng từ lĩnh vực nào?

Các linh kiện điện tử đi kèm với bảng dữ liệu mô tả đặc điểm của chúng. Gebru và các đồng nghiệp đã áp dụng ý tưởng đó vào các tập dữ liệu.

Thẻ hệ thống khác với thẻ mẫu cơ bản như thế nào?

Thẻ hệ thống, chẳng hạn như thẻ OpenAI dành cho GPT-4, mô tả các rủi ro, liên kết đỏ và các biện pháp bảo vệ của sản phẩm được triển khai.

Tiếp tục học hỏi

Hướng dẫn liên quan

Đã chọn thêm hướng dẫn cho chủ đề này

Nhận chứng chỉ AI miễn phíMột khóa học và kỳ thi ngắn miễn phí. Không tốn phí, không cần thẻ. Khoảng 2,5 giờ.Bắt đầu miễn phí →