Bảo mật AI

Xác định những gì cần bảo vệ: đầu vào riêng tư, dữ liệu huấn luyện, hiện vật mô hình, thông tin xác thực, tài khoản kết nối và các hành động bên ngoài. Ghi lại ai có thể ảnh hưởng đến từng đầu vào và những gì kẻ tấn công có thể thu được từ thất bại. Chatbot công khai và một agent nội bộ có quyền ghi có các mô hình mối đe dọa khác nhau. Mối đe dọa có thể ảnh hưởng đến các giai đoạn khác nhau. Tài liệu huấn luyện bị nhiễm độc có thể thay đổi hành vi đã học; đầu vào đối kháng có thể thao túng dự đoán; Nội dung truy xuất không đáng tin cậy có thể chuyển hướng ứng dụng sử dụng công cụ. Đầu ra mô hình cũng có thể nguy hiểm khi được chèn vào truy vấn cơ sở dữ liệu, trang web hoặc lệnh mà không được xử lý phù hợp. Áp dụng các điều khiển tại ranh giới phần mềm. Thực thi quyền trong mã, giữ bí mật ngoài bối cảnh hiển thị của mô hình khi có thể, giới hạn phạm vi công cụ và xác thực đầu ra trước khi sử dụng. Một lời nhắc yêu cầu mô hình hoạt động an toàn không thể thay thế việc cô lập tài khoản hoặc kiểm tra quyền. Kiểm tra các đường dẫn lỗi đại diện trong môi trường được ủy quyền và duy trì quy trình sự cố. Ghi lại đủ thông tin để điều tra mà không thu thập nội dung nhạy cảm không cần thiết. Đánh giá các biện pháp kiểm soát sau khi thay đổi mô hình, nguồn truy xuất, công cụ và các phụ thuộc. Mô tả rủi ro còn lại một cách trung thực; không có bộ lọc duy nhất nào thiết lập được sự bảo vệ hoàn toàn.