Что случилось
Nvidia представила систему безопасности для автономных агентов ИИ, которая позволяет операторам заранее определять, какие данные агент может читать и какие действия он может выполнять. Система включает OpenShell — среду выполнения, которая следит за поведением агента и блокирует любые несанкционированные операции, и Sentry — отдельный компонент, который может изолировать агента, если он попытается выйти за разрешенные границы. OpenShell уже доступен клиентам, а Sentry представлен как решение на стадии проектирования для дополнительной защиты.
В заявлении Nvidia описывается система, которая позволяет разработчикам устанавливать явные границы для агентов ИИ, определяя, к каким наборам данных агенты могут иметь доступ и какие операции они могут выполнять.
OpenShell, первая часть системы, постоянно отслеживает активность агента и блокирует любую операцию, выходящую за рамки предопределенной политики, выступая в качестве защиты во время выполнения.
Sentry представлен как дополнительная мера защиты, которая может изолировать агента, если он попытается нарушить разрешенную область действия, эффективно обеспечивая возможность карантина.
Компания отмечает, что OpenShell уже выпущен для клиентов, а Sentry в настоящее время является проектным решением, что указывает на то, что он может быть развернут в будущих обновлениях оборудования или программного обеспечения.
Подробности об источнике: armenpress.am ↗
Почему это важно
Возможность обеспечивать строгие ограничения доступа к данным и действий является конкретным шагом на пути к предотвращению причинения вреда мошенническими или неправильно ведущими себя агентами ИИ, особенно по мере того, как такие агенты становятся более функциональными и развертываются в корпоративных средах. Обеспечивая как мониторинг в реальном времени (OpenShell), так и резервный механизм изоляции (Sentry), Nvidia стремится предоставить разработчикам конкретные элементы управления, которые можно интегрировать в существующие конвейеры ИИ, снижая риск утечки данных, непреднамеренных изменений системы или злонамеренного использования. Этот шаг также свидетельствует о признании в масштабах всей отрасли того, что агентам искусственного интеллекта необходимы встроенные средства защиты, а не полагаться исключительно на внешний надзор.
По мере того как агенты ИИ становятся более автономными, растет вероятность непреднамеренного поведения, что делает встроенные средства контроля безопасности необходимыми для защиты конфиденциальных данных и критически важных систем.
OpenShell предлагает немедленное и осуществимое применение политик, уменьшая зависимость от постфактум-мониторинга или ручного контроля, который может быть медленным и подверженным ошибкам.
Возможность изоляции Sentry добавляет уровень глубокой защиты, позволяя организациям сдерживать ошибочный агент, прежде чем он сможет повлиять на более широкую инфраструктуру.
Это объявление отражает более широкую отраслевую тенденцию к внедрению безопасности и управления непосредственно в стеки развертывания ИИ, что может стать стандартным требованием для внедрения ИИ на предприятии.
Интерактивный механизм: как он на самом деле работает
Изучите технологию, лежащую в основе этой разработки, в интерактивном режиме.
crm_get_transaction(id='4092').An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
Что посмотреть дальше
Будущие обновления о доступности и производительности компонента Sentry, рекомендации по интеграции для основных облачных платформ и любые реальные инциденты, проверяющие эффективность OpenShell и Sentry. Кроме того, следите за показателями внедрения разработчиками и за тем, используют ли другие поставщики оборудования аналогичные платформы управления агентами.
Когда и как Sentry станет общедоступным, включая любые аппаратные зависимости, такие как BlueField‑4 от Nvidia или будущий процессор.
Отзывы разработчиков о языке политики OpenShell и его интеграции с популярными платформами искусственного интеллекта, такими как PyTorch и TensorFlow.
Любые зарегистрированные инциденты, когда OpenShell или Sentry успешно предотвратили взлом, обеспечив реальную проверку технологии.
Потенциальный интерес регулирующих органов к механизмам обязательного контроля агентов для приложений ИИ с высоким уровнем риска.