CREST запускає стандарт акредитації для компаній, що тестують системи ШІ

Що сталося

SecurityBrief Asia повідомляє, що CREST розпочав тестування безпеки стандарту AI та акредитацію для постачальників послуг кібербезпеки. Структура оцінює, чи мають постачальники досвід, методи, управління, засоби контролю та докази, необхідні для тестування систем із підтримкою ШІ.

SecurityBrief Asia повідомляє, що CREST, глобальний некомерційний орган із стандартизації та акредитації кібербезпеки, запустив тестування безпеки стандарту ШІ та акредитацію для постачальників послуг кібербезпеки. Заявлена ​​мета полягає в тому, щоб надати організаціям незалежний сигнал впевненості при виборі фірм для тестування систем, які використовують генеративний ШІ або великі мовні моделі. У статті представлено запуск як відповідь на ринкову прогалину: організації приймають додатки та робочі процеси з підтримкою штучного інтелекту, але покупці можуть зіткнутися з труднощами визначити, чи має постачальник тестування відповідну технічну експертизу.

Відповідно до SecurityBrief Asia, акредитація встановлює оцінювані вимоги щодо технічної експертизи, компетентності практиків, методологій тестування, управління, контролю якості, інструментів, процесів виявлення специфічних ризиків безпеки ШІ та доказів, які використовуються для підтримки висновків тестування. Таким чином, схема оцінює як можливості тестування постачальника, так і засоби контролю, що оточують його роботу. У звіті йдеться, що постачальники вже повинні мати акредитацію CREST на тестування на проникнення або подати заявку на її отримання разом із новим схваленням на тестування ШІ. Це пов’язує нову схему з існуючою базовою лінією CREST для послуг тестування на проникнення.

У звіті йдеться, що стандарт розглядає систему ШІ як систему в цілому, а не лише базову модель. Його описаний обсяг включає додатки, підказки та системні інструкції, механізми пошуку, джерела даних, пам’ять, інструменти, плагіни, API, рівні оркестровки та нижчі системи, на які впливають виходи ШІ. Це важливо, оскільки вразливі місця можуть виникати в точках інтеграції або в навколишній інфраструктурі, включаючи спосіб, у який модель отримує інформацію, викликає інструменти або передає результати в інші системи. SecurityBrief Asia повідомляє, що стандарт був розроблений спільно з сектором через робочу групу CREST AI.

Виконавчий директор CREST Нік Бенсон сказав SecurityBrief Asia, що учасники та клієнти хочуть отримати більше інформації про облікові дані провайдерів для тестування ШІ, оскільки клієнти розгортають технологію з підтримкою ШІ. Бенсон розрізняв використання фрази «тестування безпеки систем ШІ» та демонстрацію досвіду та методологій, необхідних для виконання цієї роботи. Стаття також цитує технічного директора Sentrium Security Тіма Ріда та керівника служби кібербезпеки групи wizlynx Янна Чаленсона, обидва вони підтримують фреймворк. Їхні коментарі є схваленням галузі, а не незалежною оцінкою стандарту.

SecurityBrief Asia розміщує запуск у ширшій програмі CREST із захисту штучного інтелекту. У статті йдеться, що в липні CREST представив стандарт тестування на проникнення з підтримкою штучного інтелекту, зосереджений на тому, як провайдери використовують штучний інтелект під час надання послуг тестування. Нещодавно повідомлена акредитація стосується іншого питання про те, чи можуть постачальники самостійно тестувати системи ШІ. У звіті також зазначено, що понад 100 засновницьких організацій з кібербезпеки підписали Хартію та Принципи штучного інтелекту CREST, що становить понад 10% членства в усьому світі. Ці цифри та описи не були незалежно підтверджені для цієї оцінки.

Деталі джерела: securitybrief.asia ↗

Чому це важливо

Оцінки безпеки штучного інтелекту все частіше передбачають більше, ніж ізольоване тестування моделі. Офіційна акредитація може дати організаціям більш чіткий сигнал щодо закупівель і належної перевірки постачальників, хоча у звіті незалежно не встановлено, наскільки широко буде прийнята схема та чи покращить вона результати тестування.

Практичне значення полягає в тому, що тестування ШІ стає проблемою закупівель та управління, а не лише технічною. Компанії, яка замовляє оцінку, може знадобитися впевненість у тому, що постачальник розуміє оперативні маніпуляції, ризики пошуку, доступ до інструментів, обробку даних, пам’ять, оркестровку та наступні ефекти. SecurityBrief Asia повідомляє, що структура CREST розроблена таким чином, щоб зробити ці можливості оцінними. Якщо покупці використовують акредитацію як частину належної перевірки постачальника, це може спростити порівняння заяв постачальника.

Акцент на всю систему також є наслідковим. Тестування лише відповідей моделі може пропустити слабкі місця в програмі навколо неї: ієрархія інструкцій може бути розкрита, джерело отримання може бути отруєне, підключений інструмент може мати надмірні дозволи або вихід може викликати небезпечну дію вниз по течії. Джерело не повідомляє про будь-яку конкретну вразливість або результати тестування нової схеми, тому воно не демонструє, що фреймворк виявив або запобігв таким збоям. У ньому повідомляється обсяг і призначена функція гарантії акредитації.

Структура також може впливати на те, що документують постачальники. SecurityBrief Asia каже, що CREST оцінюватиме управління, контроль якості, процеси та докази, а також технічні навички. Цей наголос може спонукати фірми пояснювати, як відбираються тестові випадки, як перевіряються результати, як реєструються обмеження та як підтверджуються висновки. Для клієнтів це може бути кориснішим, ніж просто стверджувати, що постачальник має досвід роботи зі ШІ. У звіті не вказується метод підрахунку балів, поріг проходження, цикл повторного оцінювання або публічна доступність звітів про оцінювання.

Різниця між липневим стандартом тестування на проникнення з підтримкою штучного інтелекту та цією новою акредитацією є важливою. Один стосується використання ШІ постачальником тестування; інший стосується здатності постачальника тестувати системи ШІ. Ця діяльність може включати різні ризики та компетенцію. Фірма може використовувати штучний інтелект для прискорення звичайної роботи з безпеки, не маючи кваліфікації для оцінки поведінки моделі, конвеєрів пошуку чи інтеграції агентських інструментів. І навпаки, акредитація на тестування штучного інтелекту сама по собі не доведе, що кожне завдання добре охоплено або що певне розгортання є безпечним.

Вплив на громадськість залишається невизначеним, оскільки джерело не містить незалежного покупця, регулятора чи академічної оцінки. Повідомлення про підтримку з боку членів CREST показують, що постачальники-учасники бачать цінність схеми, але це не означає визнання ринком. Стаття також не показує, що акредитація зменшує кількість інцидентів, покращує виявлення вразливостей або дає узгоджені результати серед провайдерів. Ці невідомі мають пом'якшити будь-яке твердження, що запуск встановлює нову планку якості в усій галузі.

Що дивитися далі

Ключові питання полягають у тому, чи потрібна акредитація покупцям, як CREST оцінює постачальників на практиці та чи стандарт забезпечує порівнянну якість тестування серед постачальників. У звіті не міститься повний стандарт, результати оцінки, графік впровадження або незалежні відповіді покупців і регуляторів.

Перше, на що слід звернути увагу, – це прийняття покупцями. SecurityBrief Asia визначає закупівлі та належну перевірку постачальників як головні цілі, але не повідомляє, чи вимагають великі організації акредитацію в тендерах або контрактах. Докази того, що покупці використовують її для розрізнення постачальників, свідчать про те, що схема стала більше, ніж добровільна професійна документація. Без сприйняття покупцями акредитація може в першу чергу служити сигналом на ринку послуг кібербезпеки.

Друге питання – прозорість оцінювання. У звіті названо широкі сфери оцінювання, але не надано детальних засобів контролю стандарту, процедур тестування, вимог до доказів або критеріїв проходження. Спостерігачі повинні шукати інформацію про те, як CREST перевіряє компетентність провайдерів, як часто поновлюється акредитація, як врегульовуються конфлікти інтересів і чи розкриваються невдалі або обмежені оцінки. Ці деталі допоможуть визначити, яку довіру може підтримувати акредитація.

Третє питання – технічне покриття. Розгортання штучного інтелекту дуже різноманітні: від простих функцій мовної моделі до систем із пошуком, пам’яттю, зовнішніми інструментами, API та автоматизованими діями вниз по течії. Повідомлений CREST діапазон цілої системи є широким, але стаття не пояснює, як оцінки впораються з відмінностями в архітектурі, доступі до моделі, чутливості даних або операційному впливі. Майбутні інструкції чи опубліковані тематичні дослідження можуть показати, чи є стандарт практичним у цих умовах, а не просто вичерпним описом.

Четверте питання — докази результатів. Члени CREST, цитовані у звіті, кажуть, що структура може створити послідовність і зміцнити довіру, але це очікування, а не виміряні результати. Корисні подальші докази включатимуть анонімні результати оцінки, приклади слабких місць штучного інтелекту, виявлених під час акредитованого тестування, або порівняння, які показують, що акредитовані постачальники дають більш надійні результати. Жодного з цих доказів немає в джерелі, і запуск не слід розглядати як доказ покращеної безпеки.

Нарешті, зв’язок з іншими фреймворками безпеки ШІ матиме значення. У статті описується власна програма перевірки штучного інтелекту CREST, але не обговорюється, як її акредитація узгоджується з урядовими вказівками, галузевими правилами чи іншими стандартами тестування. Покупцям може знадобитися поєднати це з оцінкою ризиків, безпечними методами розробки, контролем доступу, моніторингом і перевіркою персоналом. SecurityBrief Asia повідомляє про запуск і його передбачувану роль; він не підтверджує незалежно можливий охоплення програми, ефективність, нормативне визнання або графік оцінки постачальників.

Пов’язані посібники та вікторини