Какво стана
SecurityBrief Asia съобщава, че CREST стартира тестване на сигурността на стандарта за AI и акредитация за доставчици на услуги за киберсигурност. Рамката оценява дали доставчиците разполагат с експертизата, методите, управлението, контролите и доказателствата, необходими за тестване на системи, поддържащи AI.
SecurityBrief Asia съобщава, че CREST, глобален орган за стандарти за киберсигурност и акредитация с нестопанска цел, е стартирал Тестване на сигурността на стандарта и акредитацията за AI за доставчици на услуги за киберсигурност. Обявената цел е да се даде на организациите независим сигнал за сигурност при избора на фирми за тестване на системи, които използват генеративен AI или големи езикови модели. Статията представя стартирането като отговор на пазарна празнина: организациите приемат приложения и работни потоци с активиран AI, но купувачите може да имат затруднения да определят дали доставчикът на тестове има съответната техническа експертиза.
Според SecurityBrief Asia, акредитацията определя подлежащи на оценка изисквания за техническа експертиза, компетентност на практикуващи, методологии за тестване, управление, контрол на качеството, инструменти, процеси за идентифициране на специфични за ИИ рискове за сигурността и доказателствата, използвани в подкрепа на заключенията от тестването. Следователно схемата оценява както способността за тестване на доставчика, така и контролите около работата му. В доклада се казва, че доставчиците трябва вече да притежават акредитация за тестване за проникване на CREST или да кандидатстват за нея заедно с новото одобрение за тестване на AI. Това свързва новата схема със съществуваща базова линия на CREST за услуги за тестване на проникване.
В доклада се казва, че стандартът третира AI система като цялостна система, а не само като основен модел. Описаният му обхват включва приложения, подкани и системни инструкции, механизми за извличане, източници на данни, памет, инструменти, плъгини, API, оркестрационни слоеве и системи надолу по веригата, засегнати от AI изходи. Това има значение, тъй като уязвимостите могат да възникнат в точки на интеграция или в заобикалящата инфраструктура, включително начина, по който даден модел получава информация, извиква инструменти или предава резултати в други системи. SecurityBrief Asia съобщава, че стандартът е разработен със сектора чрез работната група за изкуствен интелект на CREST.
Главният изпълнителен директор на CREST Ник Бенсън каза пред SecurityBrief Asia, че членовете и клиентите искат повече информация относно идентификационните данни на доставчиците за тестване на AI, тъй като клиентите внедряват технология с активиран AI. Бенсън прави разлика между използването на фразата „тестване на сигурността на системите с изкуствен интелект“ и демонстрирането на експертните познания и методологиите, необходими за извършване на тази работа. Статията също цитира техническия директор на Sentrium Security Тим Рийд и ръководителя на услугите за киберсигурност на групата wizlynx Ян Чаленсон, като и двамата поддържат рамката. Техните коментари са одобрение на индустрията, а не независими оценки на стандарта.
SecurityBrief Asia поставя стартирането в рамките на по-широката програма на CREST за осигуряване на AI. В статията се казва, че CREST въведе стандарт за тестване за проникване с активиран AI през юли, фокусиран върху това как доставчиците използват AI, докато предоставят услуги за тестване. Наскоро докладваната акредитация разглежда различния въпрос дали доставчиците могат сами да тестват AI системи. Докладът също така казва, че повече от 100 основатели на организации за киберсигурност са подписали AI Хартата и принципите на CREST, което представлява повече от 10% от световното членство. Тези цифри и описания не бяха независимо потвърдени за тази оценка.
Детайли за източника: securitybrief.asia ↗
Защо има значение
Оценките на сигурността на AI все повече включват повече от тестване на модел в изолация. Официалната акредитация би могла да даде на организациите по-ясен сигнал за обществени поръчки и надлежна проверка на доставчика, въпреки че докладът не установява независимо колко широко ще бъде възприета схемата или дали ще подобри резултатите от тестването.
Практическото значение е, че тестването на AI се превръща в проблем за обществените поръчки и управлението, а не само технически. Компания, която поръчва оценка, може да се нуждае от увереност, че продавачът разбира бързата манипулация, рисковете при извличане, достъпа до инструменти, обработката на данни, паметта, оркестрацията и ефектите надолу по веригата. SecurityBrief Asia съобщава, че рамката на CREST е проектирана да направи тези способности подлежащи на оценка. Ако купувачите използват акредитацията като част от надлежната проверка на доставчика, това може да улесни сравняването на твърденията на доставчика.
Акцентът върху цялата система също е последователен. Тестването само на отговорите на модел може да пропусне слабостите в приложението около него: йерархия на инструкции може да бъде разкрита, източник за извличане може да бъде отровен, свързан инструмент може да има прекомерни разрешения или изход може да задейства небезопасно действие надолу по веригата. Източникът не съобщава за конкретна уязвимост или резултат от теста от новата схема, така че не демонстрира, че рамката е открила или предотвратила такива повреди. Той отчита обхвата и предвидената функция за осигуряване на акредитацията.
Рамката може също да повлияе на документите на доставчиците. SecurityBrief Asia казва, че CREST ще оцени управлението, контрола на качеството, процесите и доказателствата, както и техническите умения. Този акцент може да насърчи фирмите да обяснят как се избират тестови случаи, как се валидират констатациите, как се записват ограниченията и как се подкрепят заключенията. За клиентите това може да бъде по-полезно от голото твърдение, че даден доставчик има опит с AI. Докладът не посочва метода на точкуване, прага на преминаване, цикъла на преоценка или публичната наличност на докладите за оценка.
Разликата между юлския стандарт за тестване за проникване с AI и тази нова акредитация е важна. Единият се отнася до използването на AI от доставчик на тестове; другият се отнася до способността на доставчика да тества AI системи. Тези дейности могат да включват различни рискове и компетенции. Една фирма може да използва AI, за да ускори конвенционалната работа по сигурността, без да е квалифицирана да оценява поведението на модела, тръбопроводи за извличане или интеграции на инструменти, подобни на агенти. Обратно, акредитацията за тестване на AI не би доказала сама по себе си, че всеки ангажимент е добре обхванат или че конкретно внедряване е сигурно.
Общественото въздействие остава несигурно, тъй като източникът не съдържа независим купувач, регулатор или академична оценка. Докладваната подкрепа от членовете на CREST показва, че участващите доставчици виждат стойност в схемата, но не установява приемане на пазара. Статията също не показва, че акредитацията намалява инцидентите, подобрява откриването на уязвимости или дава последователни резултати при различните доставчици. Тези неизвестни трябва да смекчат всяко твърдение, че стартирането установява нова лента за качество в цялата индустрия.
Интерактивен механизъм: как всъщност работи
Разгледайте интерактивно основната технология зад тази разработка.
crm_get_transaction(id='4092').Why can ethical evaluation not be reduced to one model score?
Какво да гледате след това
Ключовите въпроси са дали купувачите изискват акредитация, как CREST оценява доставчиците на практика и дали стандартът осигурява сравнимо качество на тестване при различни доставчици. Докладът не предоставя пълния стандарт, резултатите от оценката, графика за внедряване или независими отговори от купувачи и регулатори.
Първият проблем, който трябва да се наблюдава, е приемането от купувачите. SecurityBrief Asia идентифицира надлежната проверка на доставките и доставчиците като централни цели, но не съобщава дали големи организации изискват акредитация в търгове или договори. Доказателство, че купувачите го използват, за да разграничат доставчиците, ще покаже, че схемата се е превърнала в нещо повече от доброволно професионално удостоверение. Без възприемане от купувача, акредитацията може да служи предимно като сигнал в рамките на пазара на услуги за киберсигурност.
Вторият проблем е прозрачността на оценяването. Докладът посочва широки области на оценка, но не предоставя подробни контроли на стандарта, процедури за изпитване, изисквания за доказателства или критерии за преминаване. Наблюдателите трябва да търсят информация за това как CREST проверява компетентността на доставчиците, колко често се подновява акредитацията, как се управляват конфликтите на интереси и дали се разкриват неуспешни или ограничени оценки. Тези подробности биха помогнали да се определи до каква степен на доверие може разумно да подкрепи акредитацията.
Третият проблем е техническото покритие. Внедряванията на AI варират в широки граници, от функции на прости езикови модели до системи с извличане, памет, външни инструменти, API и автоматизирани действия надолу по веригата. Отчетеният от CREST обхват на цялата система е широк, но статията не обяснява как оценките ще се справят с разликите в архитектурата, достъпа до модела, чувствителността на данните или оперативното въздействие. Бъдещи насоки или публикувани казуси биха могли да покажат дали стандартът е практичен в тези настройки, а не просто като изчерпателно описание.
Четвъртият проблем е доказателството за резултата. Членовете на CREST, цитирани в доклада, казват, че рамката може да създаде последователност и да засили доверието, но това са по-скоро очаквания, отколкото измерени констатации. Полезни последващи доказателства биха включвали анонимизирани резултати от оценката, примери за специфични за AI слабости, открити чрез акредитирано тестване, или сравнения, показващи, че акредитираните доставчици произвеждат по-надеждни констатации. Нито едно от тези доказателства не присъства в източника и изстрелването не трябва да се третира като доказателство за подобрена сигурност.
И накрая, връзката с други рамки за сигурност на ИИ ще има значение. Статията описва собствената програма за осигуряване на AI на CREST, но не обсъжда как нейната акредитация съответства на правителствените насоки, специфичните за сектора правила или други стандарти за тестване. Може да се наложи купувачите да го комбинират с оценки на риска, сигурни практики за разработка, контрол на достъпа, наблюдение и човешки преглед. SecurityBrief Asia съобщава за стартирането и планираната му роля; не потвърждава независимо евентуалния обхват, ефективност, регулаторно признаване или график за оценки на доставчиците на програмата.