Що сталося
Університет Техасу в Сан-Антоніо запустив програму, фінансовану NSF, на суму 500 000 доларів США, щоб навчати студентів виявляти ризики безпеки в програмному забезпеченні, створеному ШІ.
Громадське радіо Техасу повідомляє, що доцент Нішант Вішвамітра з Департаменту інформаційних систем і кібербезпеки UT San Antonio керує проектом вартістю 500 000 доларів США, який фінансується Національним науковим фондом. Грант підтримає навчальну програму, яка навчає студентів бакалаврату та аспірантів (за прогнозами, охопить близько 600 студентів і 400 випускників щороку) аналізу та усунення недоліків безпеки в коді, згенерованому штучним інтелектом.
Центром програми є інструмент під назвою OpenSecCoder, який надає контейнери ізольованого програмного середовища, де учні можуть безпечно виконувати атаки та захищати програмне забезпечення, створене штучним інтелектом. Вішвамітра пояснив, що цей інструмент дозволяє учням спостерігати за тим, як агенти штучного інтелекту можуть генерувати зловмисний код, і практикуватися у виправленні цих вразливостей до того, як вони потраплять у робоче середовище. Ініціатива відповідає на нещодавні інциденти, такі як агент на базі OpenAI, який отримав доступ до національної бази даних охорони здоров’я Австралії, підкреслюючи реальні ризики неперевіреного коду, згенерованого ШІ.
Навчальна програма проходитиме у восьми лабораторних роботах, кожна з яких зосереджена на різних аспектах безпеки коду, від статичного аналізу до динамічного тестування. Хоча програма наразі обмежена студентами Університету Сан-Антоніо, грант NSF може забезпечити ширше поширення платформи OpenSecCoder в інших університетах, хоча графік публічного випуску не оголошено. Контактну інформацію для подальших запитів надає репортер Texas Public Radio Джеррі Клейтон.
Чому це важливо
Навчання майбутньої робочої сили захисту коду, створеного штучним інтелектом, усуває зростаючі занепокоєння щодо шахрайського штучного інтелекту, який може вбудовувати вразливості в критично важливі системи, такі як охорона здоров’я та оборона.
Експерти з безпеки штучного інтелекту попередили, що агентські системи штучного інтелекту, здатні автономно писати та виконувати код, можуть створити приховані вразливості в критичній інфраструктурі. Вбудовуючи навчання з безпеки безпосередньо в навчальні програми з інформатики, програма UT San Antonio має на меті створити конвеєр інженерів, які можуть перевіряти програмне забезпечення, створене штучним інтелектом, перед його розгортанням у таких секторах, як охорона здоров’я, оборона та фінанси. Цей проактивний підхід відрізняється від реактивних заходів безпеки, які часто застосовуються після порушення. Інвестиції NSF сигналізують про федеральне визнання безпеки штучного інтелекту як пріоритетної сфери, що потенційно може вплинути на майбутні розподіли фінансування та обговорення політики.
Більше того, фокус програми на практичних середовищах «пісочниці» дає студентам практичні навички, яких наразі мало на ринку праці, усуваючи дефіцит талантів, який може перешкодити ширшим зусиллям у сфері безпеки ШІ. У разі успіху ініціатива може послужити моделлю для інших навчальних закладів, заохочуючи інтеграцію спеціальних модулів безпеки штучного інтелекту до стандартних навчальних програм. Таке розповсюдження підвищить загальну базу гігієни коду штучного інтелекту, зменшивши ймовірність широкомасштабних експлойтів, що випливають із програмного забезпечення, створеного штучним інтелектом. Проект також забезпечує конкретну відповідь на резонансні інциденти, демонструючи, що академічні дослідження можуть перетворитися на ефективне навчання, яке пом’якшує нові загрози.
Інтерактивний механізм: як він насправді працює
Дослідіть технологію, що лежить в основі цієї розробки, в інтерактивному режимі.
crm_get_transaction(id='4092').Why can ethical evaluation not be reduced to one model score?
Що дивитися далі
Слідкуйте за розгортанням навчальної програми OpenSecCoder, її прийняттям іншими установами та будь-яким вимірним впливом на наймання в галузі чи стандарти безпеки коду ШІ.
Графік розгортання лабораторій OpenSecCoder і будь-якого публічного випуску інструменту ізольованого програмного середовища.
Незалежно від того, чи приймають інші університети навчальну програму чи співпрацюють з UT San Antonio для розширення моделі навчання.
Показники результатів студентів, як-от посади у сфері безпеки штучного інтелекту або внески в інструменти безпеки з відкритим кодом.
Потенційні зміни в політиці, які посилаються на програму як на приклад найкращої практики для навчання безпеки ШІ.