Tiếp theoHướng dẫn tiếp theo
Tinh chỉnh mô hình nhúng để truy xuất
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
Thẻ mô hình là một tài liệu ngắn, có cấu trúc giải thích mục đích của mô hình AI, cách đánh giá, hiệu suất của mô hình đối với các nhóm và điều kiện khác nhau cũng như nơi không nên sử dụng mô hình đó.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Bảng dữ liệu dành cho các tập dữ liệu cũng thực hiện tương tự đối với dữ liệu huấn luyện: lý do dữ liệu được thu thập, dữ liệu chứa gì, cách thu thập và gắn nhãn cũng như cách duy trì dữ liệu. Những tài liệu này quan trọng vì chúng cho phép người mua, người dùng, kiểm toán viên và cơ quan quản lý đánh giá liệu hệ thống có phù hợp với mục đích hay không và các luật như Đạo luật AI của EU hiện yêu cầu tài liệu tương tự.
Thẻ mô hình đã được Margaret Mitchell và các đồng nghiệp đề xuất trong bài báo "Thẻ mẫu cho báo cáo mẫu", được trình bày tại hội nghị ACM FAT* năm 2019. Các phần được đề xuất là chi tiết mô hình, mục đích sử dụng, các yếu tố (chẳng hạn như điều kiện nhân khẩu học hoặc môi trường), số liệu, dữ liệu đánh giá, dữ liệu đào tạo, phân tích định lượng, cân nhắc về đạo đức, cảnh báo và khuyến nghị. Ý tưởng chính là đánh giá tách rời: báo cáo hiệu suất riêng biệt cho các nhóm nhỏ có liên quan thay vì một điểm trung bình có thể che giấu thất bại. Bảng dữ liệu cho Bộ dữ liệu của Timnit Gebru và các đồng nghiệp, được lưu hành lần đầu tiên vào năm 2018 và sau đó được xuất bản trên tạp chí Communications of the ACM. Nó mượn từ bảng dữ liệu điện tử. Người tạo tập dữ liệu trả lời các câu hỏi về động lực, thành phần, quy trình thu thập, tiền xử lý và ghi nhãn, cách sử dụng, phân phối và bảo trì. Các định dạng liên quan bao gồm báo cáo dữ liệu cho bộ dữ liệu ngôn ngữ và thẻ dữ liệu. Thẻ hệ thống, được Meta và OpenAI sử dụng từ năm 2022 và nổi bật là GPT-4 vào năm 2023, ghi lại toàn bộ hệ thống được triển khai, bao gồm kiểm tra an toàn và giảm thiểu, thay vì chỉ mô hình. Quy định đã biến phần lớn hoạt động này thành một yêu cầu. Đạo luật AI của EU yêu cầu tài liệu kỹ thuật dành cho các hệ thống AI có rủi ro cao, được quy định trong Phụ lục IV. Các nhà cung cấp mô hình AI có mục đích chung phải lưu giữ tài liệu kỹ thuật, cung cấp thông tin cho các nhà cung cấp cấp dưới và xuất bản bản tóm tắt nội dung đào tạo bằng mẫu của Ủy ban. Một quan niệm sai lầm phổ biến là thẻ mô hình chứng minh mô hình đó là an toàn. Đó là một bản tiết lộ chứ không phải một chứng nhận và thẻ có thể không đầy đủ, lỗi thời hoặc được viết như tiếp thị. Giá trị của nó phụ thuộc vào những giới hạn và đánh giá trung thực mà người khác có thể mô phỏng lại.
Một bệnh viện đánh giá bộ phân loại tổn thương da đọc thẻ mô hình của nó và nhận thấy độ chính xác được báo cáo riêng biệt theo tông màu da. Sau đó, nó quyết định chạy xác thực cục bộ của chính nó trước khi sử dụng.
Kho lưu trữ mô hình Hugging Face hiển thị thẻ mô hình có siêu dữ liệu YAML liệt kê giấy phép, tập dữ liệu đào tạo, ngôn ngữ và kết quả điểm chuẩn và mọi người có thể lọc kết quả tìm kiếm theo các trường đó.
Một nhóm nghiên cứu xuất bản một tập dữ liệu giọng nói kèm theo một biểu dữ liệu ghi lại sự đồng ý của người nói, các điều kiện ghi âm và các giọng chưa được thể hiện đầy đủ.
Phòng thí nghiệm AI phát hành thẻ hệ thống cho chatbot mô tả kết quả của nhóm đỏ, các biện pháp giảm thiểu an toàn và những rủi ro còn tồn tại, ngoài phạm vi mà thẻ mô hình cơ bản có thể đề cập.
Tài liệu đang chuyển từ phương pháp thực hành tốt nhất mang tính tự nguyện sang yêu cầu tuân thủ. Đạo luật AI của EU, các quy tắc và tiêu chuẩn mua sắm như ISO/IEC 42001 đều yêu cầu hồ sơ có cấu trúc về cách xây dựng và thử nghiệm một hệ thống. Các định dạng có thể đọc được bằng máy và việc tạo tự động có thể sẽ trở nên phổ biến hơn, do đó thẻ có thể được kiểm tra và so sánh. Những thách thức đang diễn ra là giữ cho tài liệu luôn chính xác khi các mô hình được cập nhật, tiết lộ đầy đủ về dữ liệu đào tạo mà không để lộ bí mật thương mại hoặc thông tin cá nhân và đảm bảo người đọc thực sự sử dụng tài liệu khi quyết định.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Thẻ mô hình là một tài liệu ngắn, có cấu trúc giải thích mục đích của mô hình AI, cách đánh giá, hiệu suất của mô hình đối với các nhóm và điều kiện khác nhau cũng như nơi không nên sử dụng mô hình đó. Bảng dữ liệu dành cho các tập dữ liệu cũng thực hiện tương tự đối với dữ liệu huấn luyện: lý do dữ liệu được thu thập, dữ liệu chứa gì, cách thu thập và gắn nhãn cũng như cách duy trì dữ liệu. Những tài liệu này quan trọng vì chúng cho phép người mua, người dùng, kiểm toán viên và cơ quan quản lý đánh giá liệu hệ thống có phù hợp với mục đích hay không và các luật như Đạo luật AI của EU hiện yêu cầu tài liệu tương tự.
Thẻ mô hình cung cấp cho người đọc những thông tin họ cần để đánh giá liệu một mô hình có phù hợp với mục đích sử dụng cụ thể hay không, bao gồm cả những điểm nó hoạt động kém.
Margaret Mitchell và các đồng nghiệp đã trình bày "Thẻ mẫu cho báo cáo mẫu" tại ACM FAT* năm 2019.
Việc chia kết quả theo nhóm con sẽ làm lộ ra những sai sót mà mức trung bình tổng thể sẽ che giấu.
Các linh kiện điện tử đi kèm với bảng dữ liệu mô tả đặc điểm của chúng. Gebru và các đồng nghiệp đã áp dụng ý tưởng đó vào các tập dữ liệu.
Thẻ hệ thống, chẳng hạn như thẻ OpenAI dành cho GPT-4, mô tả các rủi ro, liên kết đỏ và các biện pháp bảo vệ của sản phẩm được triển khai.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Tinh chỉnh mô hình nhúng để truy xuất
kỹ thuật