Tiếp theoHướng dẫn tiếp theo
Ký kết mô hình và bảo mật chuỗi cung ứng ML
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
Bảo mật MCP bao gồm các rủi ro đến từ việc kết nối các tác nhân AI với máy chủ Giao thức bối cảnh mô hình.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Rủi ro được biết đến nhiều nhất là ngộ độc công cụ, trong đó mô tả của công cụ ẩn các hướng dẫn mà mô hình tuân theo nhưng người dùng không bao giờ nhìn thấy. Vì máy chủ MCP có thể đọc tệp, gửi tin nhắn và hành động bằng thông tin xác thực thực, nên một máy chủ độc hại hoặc bất cẩn có thể biến trợ lý hữu ích thành phương tiện để đánh cắp dữ liệu hoặc gây thiệt hại.
Giao thức bối cảnh mô hình mà Anthropic giới thiệu vào cuối năm 2024, tiêu chuẩn hóa cách các ứng dụng AI kết nối với các công cụ và dữ liệu bên ngoài. Một máy khách như trợ lý máy tính để bàn hoặc IDE kết nối với máy chủ và mỗi máy chủ quảng cáo các công cụ có tên, mô tả và lược đồ đầu vào. Mô hình đọc những mô tả đó như một phần bối cảnh của nó và đó là nơi xuất phát rủi ro chính. Ngộ độc công cụ đặt các hướng dẫn độc hại bên trong mô tả hoặc siêu dữ liệu của công cụ. Mô hình coi mô tả là hướng dẫn đáng tin cậy nhưng nhiều giao diện chỉ hiển thị cho người dùng một tên ngắn, do đó văn bản ẩn sẽ không được nhìn thấy. Một công cụ bị nhiễm độc cũng có thể điều khiển cách mô hình sử dụng các công cụ hợp pháp khác. Điều này đôi khi được gọi là tạo bóng công cụ. Tình trạng kéo thảm xảy ra khi một máy chủ được phê duyệt là an toàn sau đó thay đổi định nghĩa công cụ của nó. Hầu hết các phê duyệt diễn ra một lần, vì vậy sự thay đổi có thể không được chú ý. Quyền quá rộng sẽ tăng thiệt hại từ bất kỳ cuộc tấn công nào. Một máy chủ chứa mã thông báo có toàn quyền truy cập tài khoản hoặc máy chủ hệ thống tệp được root tại thư mục chính sẽ cung cấp cho kẻ tấn công nhiều hơn nhiệm vụ cần thiết. Một cấp phó bối rối là một thành phần đáng tin cậy bị lừa sử dụng quyền hạn của mình cho người khác. Trong thiết lập MCP, một phiên bản phổ biến là chèn lời nhắc gián tiếp: nội dung không đáng tin cậy như trang web, email hoặc nhận xét về vấn đề sẽ được đưa vào ngữ cảnh và yêu cầu tác nhân lạm dụng quyền truy cập của máy chủ khác. Mô hình không thể truyền tải dữ liệu từ hướng dẫn một cách đáng tin cậy. Thật sai lầm khi nghĩ rằng chỉ cài đặt máy chủ uy tín mới giải quyết được vấn đề. Việc tiêm có thể đến thông qua dữ liệu thông thường được trả về bởi các công cụ đáng tin cậy. Các biện pháp bảo vệ cần có các lớp: bác sĩ thú y và ghim máy chủ, hiển thị mô tả đầy đủ và cảnh báo khi chúng thay đổi, cấp ít đặc quyền nhất, cách ly các máy chủ với nhau, yêu cầu xác nhận các hành động nhạy cảm và ghi lại mọi thứ.
Máy chủ MCP 'thời tiết' bao gồm một dòng ẩn trong mô tả công cụ của nó yêu cầu mô hình đọc khóa SSH của người dùng và chuyển nó dưới dạng tham số bổ sung. Giao diện trò chuyện chỉ hiển thị tên của công cụ nên người dùng không bao giờ để ý.
Một máy chủ cộng đồng phổ biến hoạt động tốt trong nhiều tuần và sau đó gửi bản cập nhật thay đổi mô tả công cụ để rò rỉ nội dung cuộc trò chuyện. Những khách hàng không ghim phiên bản hoặc kiểm tra các định nghĩa đã thay đổi sẽ âm thầm nhận thay đổi.
Một tác nhân có cả máy chủ GitHub và máy chủ email sẽ đọc một vấn đề công khai có chứa các hướng dẫn được đưa vào, sau đó sử dụng quyền truy cập vào kho lưu trữ riêng của mình để gửi các bí mật qua email. Đây là một cuộc tấn công nhầm lẫn sử dụng quyền hợp pháp của người dùng.
Một công ty chạy các máy chủ MCP nội bộ của mình với các mã thông báo chỉ đọc dành cho các dự án riêng lẻ, cần có sự chấp thuận của con người đối với bất kỳ công cụ nào gửi dữ liệu ra bên ngoài và ghi lại mọi lệnh gọi công cụ để xem xét.
Đặc tả MCP và hệ sinh thái của nó đã và đang bổ sung thêm các tính năng bảo mật theo thời gian, bao gồm mô hình ủy quyền dựa trên OAuth và hướng dẫn về sự đồng ý của người dùng đối với các lệnh gọi công cụ. Các công cụ đăng ký, ký và quét đang xuất hiện để giúp mọi người đánh giá máy chủ đến từ đâu. Bản thân việc đưa vào nhanh chóng vẫn là một vấn đề nghiên cứu chưa được giải quyết, do đó, không có cách khắc phục đơn lẻ nào khiến cho các mô tả công cụ hoặc đầu ra của công cụ hoàn toàn an toàn. Kiến trúc là biện pháp bảo vệ đáng tin cậy nhất hiện nay: ít đặc quyền, cách ly, các điểm kiểm tra của con người đối với các hành động có tác động cao và giám sát. Các tổ chức áp dụng MCP sẽ quản lý máy chủ theo cách họ quản lý các phần mềm phụ thuộc của bên thứ ba.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Bảo mật MCP bao gồm các rủi ro đến từ việc kết nối các tác nhân AI với máy chủ Giao thức bối cảnh mô hình. Rủi ro được biết đến nhiều nhất là ngộ độc công cụ, trong đó mô tả của công cụ ẩn các hướng dẫn mà mô hình tuân theo nhưng người dùng không bao giờ nhìn thấy. Vì máy chủ MCP có thể đọc tệp, gửi tin nhắn và hành động bằng thông tin xác thực thực, nên một máy chủ độc hại hoặc bất cẩn có thể biến trợ lý hữu ích thành phương tiện để đánh cắp dữ liệu hoặc gây thiệt hại.
Mô hình đọc mô tả công cụ dưới dạng hướng dẫn đáng tin cậy. Các hướng dẫn ẩn trong chúng có thể điều khiển hành vi của nó mà người dùng không nhìn thấy.
Mô hình nhìn thấy toàn bộ văn bản, trong khi người dùng chỉ có thể nhìn thấy nhãn. Khoảng trống đó chính là nguyên nhân làm cho các hướng dẫn ẩn hoạt động.
Phê duyệt thường xảy ra một lần. Một máy chủ sau đó thay đổi định nghĩa của nó có thể vượt qua hành vi độc hại qua quá trình kiểm tra một lần đó.
Một thành phần đáng tin cậy, ở đây là tác nhân có quyền của người dùng, bị lừa sử dụng quyền của nó cho kẻ tấn công.
Các trang web, email và các vấn đề được tìm nạp bằng các công cụ trung thực có thể chứa các hướng dẫn được đưa vào, do đó, niềm tin vào máy chủ không ảnh hưởng đến nội dung mà nó trả về.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Ký kết mô hình và bảo mật chuỗi cung ứng ML
kỹ thuật