Что случилось
Опрос, проведенный Calcalistech среди 30 израильских специалистов в области безопасности, показывает, что ИИ значительно снижает барьер для входа в систему для сложных кибератак. Исследователи сообщают, что задачи, которые раньше требовали месяцев усилий со стороны национальных государственных субъектов, такие как разработка функциональных эксплойтов для проверки концепции (PoC), теперь могут быть выполнены за несколько дней. Результаты подчеркивают сдвиг в ландшафте угроз, где ИИ используется для автоматизации обнаружения уязвимостей, манипулирования доверенными агентами ИИ и проведения экономических атак путем истощения корпоративных бюджетов токенов ИИ.
В опросе подчеркивается, что коммерческие инструменты искусственного интеллекта сократили сроки исследований в области безопасности, что позволяет отдельным исследователям выявлять недостатки нулевого дня в основных платформах, таких как Zoom, Google Cloud и Microsoft Copilot. Эксперты сравнивают этот сдвиг с «моментом неопределенности AFL» 2013 года, отмечая, что, хотя ИИ эффективен в поиске легко висящих плодов, он по-прежнему склонен к галлюцинациям и потере контекста, что требует постоянного человеческого надзора.
Значительная часть исследований посвящена переходу от атак на основе учетных данных к манипулированию доверенными агентами ИИ. Используя косвенное внедрение подсказок, злоумышленники могут заставить агентов фишинговать пользователей или украсть конфиденциальные данные без необходимости использования традиционных паролей. Несколько фирм сообщили об успешных демонстрациях таких поглощений посредством общих документов и электронных писем.
В докладе определяется новый вектор атаки: экономическая война против SOC. Наполняя автоматизированные системы безопасности шумом, злоумышленники заставляют базовые модели искусственного интеллекта обрабатывать ненужные данные, что фактически исчерпывает бюджет токенов предприятия и потенциально приводит к сбою системы или к тому, что ее эксплуатация становится непомерно дорогой.
Респонденты подчеркнули, что оценки серьезности отдельных уязвимостей все больше устаревают. Вместо этого они выступают за анализ «цепочки атак», при котором многочисленные неверные конфигурации низкой степени серьезности рассматриваются как единый опасный путь к административному компрометации.
Подробности об источнике: calcalistech.com ↗
Почему это важно
Демократизация расширенных возможностей атак означает, что уязвимости в коммерческом программном обеспечении выявляются и используются с беспрецедентной скоростью. Смещая акцент с традиционной кражи учетных данных на манипулирование агентами ИИ и использование сторонних зависимостей, злоумышленники обходят традиционные средства защиты периметра. Более того, возникновение «экономической войны», когда злоумышленники наводняют системы безопасности шумом, чтобы истощить бюджеты токенов ИИ, создает новый операционный риск для предприятий, полагающихся на автоматизированные операционные центры безопасности (SOC). Эти разработки показывают, что традиционные показатели серьезности уязвимостей, такие как баллы CVE, становятся недостаточными для оценки реального риска, поскольку злоумышленники все чаще объединяют мелкие, некритические недостатки для достижения полного компрометации системы.
Результаты подчеркивают фундаментальные изменения в периметре безопасности. По мере того как предприятия интегрируют агентов ИИ в свои рабочие процессы, «доверенный агент» становится основной целью. Если агент скомпрометирован, он может действовать как мост к внутренним системам, делая традиционные инструменты обнаружения и реагирования на конечных точках (EDR) менее эффективными.
Экономические последствия атак с использованием ИИ привносят новое измерение в кибербезопасность. Теперь предприятия должны учитывать стоимость рассуждений ИИ как потенциальную уязвимость, поскольку злоумышленники могут использовать структуру затрат на инструменты безопасности на основе LLM для нарушения операций.
Зависимость от сторонних зависимостей искусственного интеллекта, таких как расширения браузера и серверы MCP, создает риск в цепочке поставок, который в настоящее время недостаточно отслеживается. Исследование показывает, что отрасль в настоящее время находится на этапе быстрого внедрения, которое опережает разработку необходимых мер безопасности.
Интерактивный механизм: как он на самом деле работает
Изучите технологию, лежащую в основе этой разработки, в интерактивном режиме.
An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
Что посмотреть дальше
Специалисты по безопасности все больше обеспокоены «слепыми зонами», возникающими в результате быстрого внедрения инфраструктуры искусственного интеллекта, включая инструменты с открытым исходным кодом, такие как Ollama и мосты протокола контекста модели (MCP). Поскольку эти зависимости интегрируются в рабочие процессы предприятия, они представляют собой растущий риск в цепочке поставок, который в настоящее время не имеет надежного мониторинга. Ожидается, что отрасль перейдет к более контекстным моделям оценки рисков, которые учитывают доступность сети и цепочки атак, а не полагаются на отдельные оценки уязвимостей. Наблюдателям следует следить за тем, начнут ли предприятия внедрять более строгое управление разрешениями агентов ИИ и экосистемами сторонних плагинов, чтобы снизить риск непрямого внедрения подсказок и несанкционированной утечки данных.
Следите за изменением в том, как команды безопасности определяют приоритетность уязвимостей. Переход от моделей, ориентированных на CVE, к контекстной, сетевой оценке рисков, вероятно, станет стандартной практикой для зрелых организаций, занимающихся безопасностью.
Следите за разработкой инструментов безопасности, специально предназначенных для аудита разрешений агентов ИИ и обнаружения попыток непрямого внедрения подсказок, поскольку в настоящее время они считаются серьезными пробелами в стеке защиты предприятия.
Посмотрите, как организации справляются со «слепыми зонами», связанными с инфраструктурой искусственного интеллекта с открытым исходным кодом. В отрасли может возникнуть необходимость в более строгих процессах проверки плагинов и зависимостей ИИ, аналогичных существующим стандартам безопасности цепочки поставок программного обеспечения.