Tổng quan
Khung quản lý rủi ro AI của NIST (AI RMF) là một cẩm nang tự nguyện của chính phủ Hoa Kỳ nhằm xây dựng AI đáng tin cậy bằng cách xác định và quản lý rủi ro trong suốt vòng đời của nó. Nó quan trọng vì nó mang lại cho các tổ chức một cấu trúc thực tế, linh hoạt để vận hành AI có trách nhiệm mà không phải là luật ràng buộc.
Khung quản lý rủi ro AI của NIST thuộc lớp xã hội và quản trị của AI, nơi chính sách, trách nhiệm giải trình và niềm tin của công chúng định hình tác động lâu dài.
Lặn sâu
Được Viện Tiêu chuẩn và Công nghệ Quốc gia Hoa Kỳ phát hành vào tháng 1 năm 2023, AI RMF 1.0 là tự nguyện và không phân biệt ngành. Nó được tổ chức xoay quanh bốn chức năng cốt lõi: Quản trị (xây dựng văn hóa và chính sách cho rủi ro AI), Bản đồ (hiểu bối cảnh và xác định rủi ro), Đo lường (phân tích và theo dõi rủi ro bằng số liệu) và Quản lý (ưu tiên và hành động đối với những rủi ro đó). Khung này xác định các đặc điểm của AI đáng tin cậy: hợp lệ và đáng tin cậy, an toàn, bảo mật và linh hoạt, có trách nhiệm và minh bạch, có thể giải thích và diễn giải, tăng cường quyền riêng tư và công bằng với sự thiên vị có hại được quản lý. NIST cũng xuất bản Playbook đồng hành với các hành động được đề xuất cụ thể và vào năm 2024 đã bổ sung Hồ sơ AI sáng tạo nhằm giải quyết các rủi ro chỉ có ở các mô hình ngôn ngữ lớn như nhầm lẫn, rò rỉ dữ liệu và nội dung có hại.
Hiểu biết kỹ thuật
Không giống như danh sách kiểm tra, RMF coi độ tin cậy là một tập hợp các sự đánh đổi cần được cân bằng, vì việc cải thiện một thuộc tính (chẳng hạn như độ chính xác) có thể làm suy giảm thuộc tính khác (chẳng hạn như quyền riêng tư hoặc tính công bằng). Chức năng Quản trị có tính xuyên suốt và hỗ trợ ba chức năng còn lại. Biện pháp nhấn mạnh việc sử dụng cả số liệu định lượng và phương pháp định tính, bao gồm cả đánh giá con người và đánh giá con người, bởi vì nhiều tác hại của AI chống lại việc thu thập số liệu thuần túy. Kết quả, chứ không phải công cụ cụ thể, mới là những gì khuôn khổ quy định.
Nắm vững Khung quản lý rủi ro AI của NIST
Khung quản lý rủi ro AI của NIST (AI RMF) là một cẩm nang tự nguyện của chính phủ Hoa Kỳ nhằm xây dựng AI đáng tin cậy bằng cách xác định và quản lý rủi ro trong suốt vòng đời của nó. Nó quan trọng vì nó mang lại cho các tổ chức một cấu trúc thực tế, linh hoạt để vận hành AI có trách nhiệm mà không phải là luật ràng buộc. Khung quản lý rủi ro AI của NIST thuộc lớp xã hội và quản trị của AI, nơi chính sách, trách nhiệm giải trình và niềm tin của công chúng định hình tác động lâu dài. Để xây dựng sự hiểu biết sâu sắc, hãy coi Khung quản lý rủi ro AI của NIST như một mô hình vận hành chứ không phải một tính năng duy nhất: xác định kết quả mong muốn, làm rõ các giả định và tách biệt những gì hệ thống có thể làm một cách đáng tin cậy với những gì vẫn cần đến sự đánh giá của chuyên gia.
Trong thực tế, các nhóm mạnh sử dụng Khung quản lý rủi ro AI của NIST kết hợp tăng trưởng năng lực với quản trị, an toàn và cơ cấu trách nhiệm giải trình rõ ràng. Họ ghi lại các tiêu chí thành công rõ ràng, kiểm tra dựa trên dữ liệu và quy trình làm việc thực tế, đồng thời lặp lại dựa trên các kiểu thất bại được quan sát thay vì chiến thắng điểm chuẩn một lần. Đây là nơi sự hiểu biết về mặt lý thuyết biến thành khả năng bền vững trên toàn bộ sản phẩm, chính sách và hoạt động.
Các quyết định của xã hội quyết định ai được lợi và ai chịu rủi ro. Đồng thời, các tuyên bố của Broad có thể lan truyền nhanh hơn bằng chứng và sự giám sát có trách nhiệm. Cách tiếp cận linh hoạt nhất là kết hợp tốc độ thử nghiệm với kỷ luật quản trị: chạy thử nghiệm, thu thập bằng chứng, xuất bản nhật ký quyết định và liên tục cập nhật các biện pháp bảo vệ khi hành vi của mô hình, kỳ vọng của người dùng và các yêu cầu pháp lý phát triển.
Tác động chiến lược
Các quyết định của xã hội quyết định ai được lợi và ai chịu rủi ro.
Các quyết định của xã hội quyết định ai được lợi và ai chịu rủi ro. Trong quá trình triển khai chất lượng cao, điều này được chuyển thành các quy tắc vận hành, ranh giới quyền sở hữu và quy trình đánh giá định kỳ có thể đo lường được để các nhóm có thể mở rộng quy mô một cách tự tin thay vì mở rộng quy mô sự mơ hồ.
Các tổ chức công, trường học và doanh nghiệp đều dựa vào quản trị AI rõ ràng.
Các tổ chức công, trường học và doanh nghiệp đều dựa vào quản trị AI rõ ràng. Trong quá trình triển khai chất lượng cao, điều này được chuyển thành các quy tắc vận hành, ranh giới quyền sở hữu và quy trình đánh giá định kỳ có thể đo lường được để các nhóm có thể mở rộng quy mô một cách tự tin thay vì mở rộng quy mô sự mơ hồ.
Thiết kế chính sách tốt có thể cải thiện sự an toàn mà không cản trở sự đổi mới hữu ích.
Thiết kế chính sách tốt có thể cải thiện sự an toàn mà không cản trở sự đổi mới hữu ích. Trong quá trình triển khai chất lượng cao, điều này được chuyển thành các quy tắc vận hành, ranh giới quyền sở hữu và quy trình đánh giá định kỳ có thể đo lường được để các nhóm có thể mở rộng quy mô một cách tự tin thay vì mở rộng quy mô sự mơ hồ.
Triển khai trong thế giới thực
Một công ty công nghệ lập bản đồ bối cảnh của một AI tuyển dụng mới, liệt kê các nhóm bị ảnh hưởng và những tác hại tiềm ẩn trước khi gửi bất kỳ mã nào, hoàn thành chức năng Bản đồ.
Một ngân hàng thành lập ủy ban quản trị AI và viết ra các chính sách rủi ro để đáp ứng chức năng Quản trị trên tất cả các mô hình của mình.
Một nhóm sử dụng các chỉ số sai lệch và nhóm đỏ để định lượng các chế độ lỗi của chatbot trong chức năng Đo lường.
Một công ty bảo hiểm sức khỏe tuân theo Hồ sơ AI sáng tạo để giải quyết các rủi ro về sự nhầm lẫn và rò rỉ dữ liệu trong LLM hướng tới khách hàng.
Các mẫu triển khai
Khung quản lý rủi ro NIST AI trong thực tế
Một công ty công nghệ lập bản đồ bối cảnh của một AI tuyển dụng mới, liệt kê các nhóm bị ảnh hưởng và những tác hại tiềm ẩn trước khi gửi bất kỳ mã nào, hoàn thành chức năng Bản đồ.
Một công ty công nghệ lập bản đồ bối cảnh của AI tuyển dụng mới, liệt kê các nhóm bị ảnh hưởng và các tác hại tiềm ẩn trước khi bất kỳ mã nào được gửi đi, hoàn thành chức năng Bản đồ. Các nhóm thường đạt được kết quả tốt hơn khi họ xác định trước các ngưỡng chất lượng, theo dõi lộ trình leo thang của con người đối với các trường hợp khó khăn và theo dõi cả mức tăng năng suất và chi phí lỗi theo thời gian.
Khung quản lý rủi ro NIST AI trong thực tế
Một ngân hàng thành lập ủy ban quản trị AI và viết ra các chính sách rủi ro để đáp ứng chức năng Quản trị trên tất cả các mô hình của mình.
Một ngân hàng thành lập ủy ban quản trị AI và các chính sách rủi ro bằng văn bản để đáp ứng chức năng Quản trị trên tất cả các mô hình của mình. Các nhóm thường đạt được kết quả tốt hơn khi họ xác định trước các ngưỡng chất lượng, duy trì lộ trình leo thang của con người đối với các trường hợp khó khăn và theo dõi cả mức tăng năng suất và chi phí lỗi theo thời gian.
Khung quản lý rủi ro NIST AI trong thực tế
Một nhóm sử dụng các chỉ số sai lệch và nhóm đỏ để định lượng các chế độ lỗi của chatbot trong chức năng Đo lường.
Một nhóm sử dụng các chỉ số sai lệch và nhóm đỏ để định lượng các chế độ lỗi của chatbot trong chức năng Đo lường. Các nhóm thường đạt được kết quả tốt hơn khi họ xác định trước các ngưỡng chất lượng, duy trì lộ trình leo thang của con người đối với các trường hợp khó khăn và theo dõi cả mức tăng năng suất và chi phí do lỗi theo thời gian.
Khung quản lý rủi ro NIST AI trong thực tế
Một công ty bảo hiểm sức khỏe tuân theo Hồ sơ AI sáng tạo để giải quyết các rủi ro về sự nhầm lẫn và rò rỉ dữ liệu trong LLM hướng tới khách hàng.
Một công ty bảo hiểm sức khỏe tuân theo Hồ sơ AI sáng tạo để giải quyết các rủi ro nhầm lẫn và rò rỉ dữ liệu trong các nhóm LLM làm việc trực tiếp với khách hàng thường nhận được kết quả tốt hơn khi họ xác định trước các ngưỡng chất lượng, duy trì lộ trình leo thang của con người đối với các trường hợp phức tạp và theo dõi cả mức tăng năng suất và chi phí lỗi theo thời gian.
Rủi ro & lan can
Những tuyên bố rộng rãi có thể lan truyền nhanh hơn bằng chứng và sự giám sát có trách nhiệm.
Quản trị yếu kém có thể để lại lỗ hổng về trách nhiệm giải trình khi tác hại xảy ra.
Quyền lực có thể tập trung khi khả năng tiếp cận, tính minh bạch và sự giám sát bị hạn chế.
Lộ trình thực hiện
Xác định các bên liên quan bị ảnh hưởng và những tác hại quan trọng nhất.
Xác định các bên liên quan bị ảnh hưởng và những tác hại quan trọng nhất. Hãy coi mỗi bước như một cổng bằng chứng: nếu không đáp ứng được các tiêu chí, hãy tạm dừng triển khai, thu hẹp khoảng cách và chỉ sau đó mới mở rộng mức sử dụng.
Đặt yêu cầu về tính minh bạch cho dữ liệu, mô hình và quyết định.
Đặt yêu cầu về tính minh bạch cho dữ liệu, mô hình và quyết định. Hãy coi mỗi bước như một cổng bằng chứng: nếu không đáp ứng được các tiêu chí, hãy tạm dừng triển khai, thu hẹp khoảng cách và chỉ sau đó mới mở rộng mức sử dụng.
Thêm đánh giá độc lập hoặc thử nghiệm của nhóm đỏ cho các hệ thống có rủi ro cao.
Thêm đánh giá độc lập hoặc thử nghiệm của nhóm đỏ cho các hệ thống có rủi ro cao. Hãy coi mỗi bước như một cổng bằng chứng: nếu không đáp ứng được các tiêu chí, hãy tạm dừng triển khai, thu hẹp khoảng cách và chỉ sau đó mới mở rộng mức sử dụng.
Cập nhật chính sách và biện pháp kiểm soát khi khả năng và cách sử dụng phát triển.
Cập nhật chính sách và biện pháp kiểm soát khi khả năng và cách sử dụng phát triển. Hãy coi mỗi bước như một cổng bằng chứng: nếu không đáp ứng được các tiêu chí, hãy tạm dừng triển khai, thu hẹp khoảng cách và chỉ sau đó mới mở rộng mức sử dụng.