Chuyện gì đã xảy ra
SecurityBrief Asia báo cáo rằng CREST đã triển khai chương trình Kiểm tra bảo mật theo tiêu chuẩn AI và chứng nhận dành cho các nhà cung cấp dịch vụ an ninh mạng. Khung này đánh giá liệu các nhà cung cấp có chuyên môn, phương pháp, quản trị, kiểm soát và bằng chứng cần thiết để kiểm tra các hệ thống hỗ trợ AI hay không.
SecurityBrief Asia báo cáo rằng CREST, một cơ quan chứng nhận và tiêu chuẩn an ninh mạng phi lợi nhuận toàn cầu, đã triển khai chương trình Kiểm tra bảo mật tiêu chuẩn AI và chứng nhận cho các nhà cung cấp dịch vụ an ninh mạng. Mục đích đã nêu là cung cấp cho các tổ chức tín hiệu đảm bảo độc lập khi lựa chọn các công ty để thử nghiệm các hệ thống sử dụng AI tổng quát hoặc mô hình ngôn ngữ lớn. Bài báo trình bày việc ra mắt như một biện pháp đáp ứng khoảng trống thị trường: các tổ chức đang áp dụng các ứng dụng và quy trình làm việc hỗ trợ AI, nhưng người mua có thể gặp khó khăn trong việc xác định liệu nhà cung cấp dịch vụ thử nghiệm có chuyên môn kỹ thuật phù hợp hay không.
Theo SecurityBrief Asia, chứng nhận này đặt ra các yêu cầu có thể đánh giá được về chuyên môn kỹ thuật, năng lực của người thực hiện, phương pháp kiểm tra, quản trị, kiểm soát chất lượng, công cụ, quy trình xác định rủi ro bảo mật dành riêng cho AI và bằng chứng được sử dụng để hỗ trợ kết luận kiểm tra. Do đó, chương trình này đánh giá cả khả năng kiểm tra của nhà cung cấp và các biện pháp kiểm soát xung quanh công việc của nhà cung cấp. Báo cáo cho biết các nhà cung cấp phải có Chứng nhận Thử nghiệm Thâm nhập của CREST hoặc đăng ký chứng nhận này cùng với phê duyệt thử nghiệm AI mới. Điều đó liên kết chương trình mới với đường cơ sở CREST hiện có dành cho các dịch vụ thử nghiệm thâm nhập.
Báo cáo cho biết tiêu chuẩn này coi hệ thống AI là một hệ thống hoàn chỉnh chứ không chỉ là một mô hình cơ bản. Phạm vi được mô tả của nó bao gồm các ứng dụng, lời nhắc và hướng dẫn hệ thống, cơ chế truy xuất, nguồn dữ liệu, bộ nhớ, công cụ, plugin, API, lớp điều phối và hệ thống hạ nguồn bị ảnh hưởng bởi đầu ra AI. Điều này quan trọng vì các lỗ hổng có thể phát sinh tại các điểm tích hợp hoặc trong cơ sở hạ tầng xung quanh, bao gồm cả cách mô hình nhận thông tin, gọi công cụ hoặc chuyển kết quả sang các hệ thống khác. SecurityBrief Asia báo cáo rằng tiêu chuẩn này được phát triển trong lĩnh vực này thông qua Nhóm công tác AI của CREST.
Giám đốc điều hành CREST, Nick Benson, nói với SecurityBrief Asia rằng các thành viên và khách hàng muốn có thêm thông tin về thông tin xác thực thử nghiệm AI của nhà cung cấp khi khách hàng triển khai công nghệ hỗ trợ AI. Benson phân biệt giữa việc sử dụng cụm từ “thử nghiệm bảo mật của hệ thống AI” và thể hiện kiến thức chuyên môn cũng như phương pháp cần thiết để thực hiện công việc đó. Bài báo cũng trích lời giám đốc kỹ thuật Sentrium Security Tim Reed và người đứng đầu nhóm dịch vụ an ninh mạng Yann Chalençon của nhóm wizlynx, cả hai đều ủng hộ khuôn khổ này. Nhận xét của họ là sự chứng thực của ngành chứ không phải đánh giá độc lập về tiêu chuẩn.
SecurityBrief Asia triển khai chương trình bảo đảm AI rộng hơn của CREST. Bài báo cho biết CREST đã giới thiệu tiêu chuẩn Thử nghiệm thâm nhập hỗ trợ AI vào tháng 7, tập trung vào cách các nhà cung cấp sử dụng AI trong khi cung cấp dịch vụ thử nghiệm. Chứng nhận mới được báo cáo giải quyết câu hỏi khác nhau về việc liệu các nhà cung cấp có thể tự kiểm tra hệ thống AI hay không. Báo cáo cũng cho biết hơn 100 tổ chức an ninh mạng sáng lập đã ký Điều lệ AI và Nguyên tắc AI của CREST, chiếm hơn 10% số thành viên trên toàn thế giới. Những số liệu và mô tả này không được xác nhận độc lập cho đánh giá này.
Chi tiết nguồn: securitybrief.asia ↗
Tại sao nó quan trọng
Đánh giá bảo mật AI ngày càng liên quan đến nhiều thứ hơn là thử nghiệm một mô hình riêng biệt. Việc công nhận chính thức có thể mang lại cho các tổ chức tín hiệu mua sắm và thẩm định nhà cung cấp rõ ràng hơn, mặc dù báo cáo không xác định độc lập mức độ áp dụng rộng rãi của chương trình này hoặc liệu nó có cải thiện kết quả thử nghiệm hay không.
Ý nghĩa thực tế là thử nghiệm AI đang trở thành một vấn đề mua sắm và quản trị chứ không chỉ là vấn đề kỹ thuật. Công ty thực hiện đánh giá có thể cần tin tưởng rằng nhà cung cấp hiểu được thao tác nhanh chóng, rủi ro truy xuất, truy cập công cụ, xử lý dữ liệu, bộ nhớ, điều phối và các tác động tiếp theo. SecurityBrief Asia báo cáo rằng khuôn khổ của CREST được thiết kế để giúp đánh giá được những khả năng đó. Nếu người mua sử dụng chứng nhận này như một phần của quá trình thẩm định nhà cung cấp, điều đó có thể giúp việc so sánh các khiếu nại của nhà cung cấp trở nên dễ dàng hơn.
Sự nhấn mạnh của toàn bộ hệ thống cũng mang lại kết quả. Việc chỉ kiểm tra các phản hồi của một mô hình có thể bỏ sót các điểm yếu trong ứng dụng xung quanh nó: hệ thống phân cấp lệnh có thể bị lộ, nguồn truy xuất có thể bị nhiễm độc, một công cụ được kết nối có thể có quá nhiều quyền hoặc một đầu ra có thể kích hoạt một hành động tiếp theo không an toàn. Nguồn không báo cáo bất kỳ lỗ hổng cụ thể hoặc kết quả kiểm tra nào từ lược đồ mới, vì vậy nó không chứng minh rằng khung đã tìm thấy hoặc ngăn chặn những lỗi đó. Nó báo cáo phạm vi và chức năng đảm bảo dự định của việc công nhận.
Khuôn khổ này cũng có thể ảnh hưởng đến tài liệu của nhà cung cấp. SecurityBrief Asia cho biết CREST sẽ đánh giá khả năng quản trị, kiểm soát chất lượng, quy trình và bằng chứng cũng như kỹ năng kỹ thuật. Sự nhấn mạnh đó có thể khuyến khích các công ty giải thích cách lựa chọn các trường hợp thử nghiệm, cách xác nhận các phát hiện, cách ghi lại các hạn chế và cách hỗ trợ các kết luận. Đối với khách hàng, điều này có thể hữu ích hơn là tuyên bố trần trụi rằng nhà cung cấp có kinh nghiệm về AI. Báo cáo không nêu rõ phương pháp tính điểm, ngưỡng vượt qua, chu kỳ đánh giá lại hoặc công khai các báo cáo đánh giá.
Sự khác biệt giữa tiêu chuẩn Kiểm tra thâm nhập hỗ trợ AI tháng 7 và sự công nhận mới này là rất quan trọng. Một vấn đề liên quan đến việc sử dụng AI của nhà cung cấp dịch vụ xét nghiệm; vấn đề còn lại liên quan đến khả năng kiểm tra hệ thống AI của nhà cung cấp. Những hoạt động đó có thể liên quan đến những rủi ro và năng lực khác nhau. Một công ty có thể sử dụng AI để tăng tốc công việc bảo mật thông thường mà không cần đủ điều kiện để đánh giá hành vi của mô hình, quy trình truy xuất hoặc tích hợp công cụ giống như tác nhân. Ngược lại, bản thân chứng nhận kiểm thử AI sẽ không chứng minh được rằng mọi hoạt động tham gia đều có phạm vi phù hợp hoặc việc triển khai cụ thể là an toàn.
Tác động tới công chúng vẫn chưa chắc chắn vì nguồn không có người mua độc lập, cơ quan quản lý hoặc đánh giá học thuật. Sự hỗ trợ được báo cáo từ các thành viên CREST cho thấy các nhà cung cấp tham gia nhìn thấy giá trị trong chương trình này, nhưng nó không tạo nên sự chấp nhận của thị trường. Bài báo cũng không cho thấy rằng việc công nhận làm giảm sự cố, cải thiện khả năng phát hiện lỗ hổng hoặc tạo ra kết quả nhất quán giữa các nhà cung cấp. Những điều chưa biết đó sẽ xoa dịu bất kỳ tuyên bố nào cho rằng việc ra mắt sẽ thiết lập một tiêu chuẩn chất lượng mới cho toàn ngành.
Cơ chế tương tác: Nó thực sự hoạt động như thế nào
Khám phá công nghệ cơ bản đằng sau sự phát triển này một cách tương tác.
crm_get_transaction(id='4092').Why can ethical evaluation not be reduced to one model score?
Xem gì tiếp theo
Các câu hỏi chính là liệu người mua có yêu cầu chứng nhận hay không, CREST đánh giá các nhà cung cấp như thế nào trong thực tế và liệu tiêu chuẩn có tạo ra chất lượng thử nghiệm tương đương giữa các nhà cung cấp hay không. Báo cáo không cung cấp đầy đủ tiêu chuẩn, kết quả đánh giá, thời gian thực hiện hay phản hồi độc lập từ người mua và cơ quan quản lý.
Vấn đề đầu tiên cần theo dõi là sự chấp nhận của người mua. SecurityBrief Asia xác định hoạt động mua sắm và thẩm định nhà cung cấp là mục tiêu trọng tâm nhưng không báo cáo liệu các tổ chức lớn có yêu cầu chứng nhận trong đấu thầu hay hợp đồng hay không. Bằng chứng cho thấy người mua sử dụng nó để phân biệt các nhà cung cấp sẽ cho thấy rằng chương trình này không chỉ đơn thuần là một chứng chỉ nghề nghiệp tự nguyện. Nếu không có sự thu hút của người mua, việc công nhận có thể chủ yếu đóng vai trò như một tín hiệu trong thị trường dịch vụ an ninh mạng.
Vấn đề thứ hai là tính minh bạch trong đánh giá. Báo cáo nêu tên các lĩnh vực đánh giá rộng rãi nhưng không cung cấp các biện pháp kiểm soát chi tiết, quy trình kiểm tra, yêu cầu bằng chứng hoặc tiêu chí đạt tiêu chuẩn. Người quan sát nên tìm kiếm thông tin về cách CREST kiểm tra năng lực của nhà cung cấp, tần suất gia hạn chứng nhận, cách quản lý xung đột lợi ích và liệu các đánh giá thất bại hoặc bị hạn chế có được tiết lộ hay không. Những chi tiết này sẽ giúp xác định mức độ tin cậy mà việc công nhận có thể hỗ trợ một cách hợp lý.
Vấn đề thứ ba là phạm vi bảo hiểm kỹ thuật. Việc triển khai AI rất khác nhau, từ các tính năng mô hình ngôn ngữ đơn giản đến các hệ thống có khả năng truy xuất, bộ nhớ, công cụ bên ngoài, API và các hành động xuôi dòng tự động. Phạm vi toàn hệ thống được báo cáo của CREST rất rộng, nhưng bài viết không giải thích cách đánh giá sẽ xử lý những khác biệt về kiến trúc, khả năng truy cập mô hình, độ nhạy cảm của dữ liệu hoặc tác động vận hành. Hướng dẫn trong tương lai hoặc các nghiên cứu điển hình được công bố có thể cho thấy liệu tiêu chuẩn này có thực tế trong các bối cảnh này hay không chứ không chỉ đơn thuần là mô tả đầy đủ.
Vấn đề thứ tư là bằng chứng kết quả. Các thành viên CREST được trích dẫn trong báo cáo cho biết khuôn khổ này có thể tạo ra sự nhất quán và củng cố niềm tin, nhưng đó chỉ là những kỳ vọng hơn là những phát hiện được đo lường. Bằng chứng tiếp theo hữu ích sẽ bao gồm các kết quả đánh giá ẩn danh, ví dụ về các điểm yếu cụ thể của AI được phát hiện thông qua thử nghiệm được công nhận hoặc so sánh cho thấy các nhà cung cấp được công nhận đưa ra kết quả đáng tin cậy hơn. Không có bằng chứng nào trong số đó có trong nguồn và vụ phóng không được coi là bằng chứng về việc an ninh được cải thiện.
Cuối cùng, mối quan hệ với các khuôn khổ bảo mật AI khác sẽ có vấn đề. Bài viết mô tả chương trình đảm bảo AI của CREST nhưng không thảo luận về việc chứng nhận của CREST phù hợp như thế nào với hướng dẫn của chính phủ, các quy tắc cụ thể của ngành hoặc các tiêu chuẩn thử nghiệm khác. Người mua có thể cần kết hợp nó với các đánh giá rủi ro, thực tiễn phát triển an toàn, kiểm soát truy cập, giám sát và đánh giá của con người. SecurityBrief Asia báo cáo sự ra mắt và vai trò dự kiến của nó; nó không xác nhận một cách độc lập phạm vi tiếp cận, tính hiệu quả, sự công nhận theo quy định hoặc thời gian biểu cuối cùng của chương trình để đánh giá nhà cung cấp.