ДалееДалее в разделе «Политика и общество в области искусственного интеллекта»
Безопасность ИИ
Общество
РУКОВОДСТВО ПО ОБЩЕСТВУ
ИИ-безопасность
Безопасность ИИ защищает модели, данные, инструменты и окружающие сервисы от несанкционированного доступа или манипуляций.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
Он включает в себя обычную безопасность программного обеспечения и угрозы, нацеленные на обучение или моделирование поведения. Безопасное проектирование начинается с активов, злоумышленников и границ доверия реального приложения.
Ключевые выводы
- Полное приложение модели угроз.
- Обеспечьте соблюдение разрешений за пределами модели.
- Повторно протестируйте элементы управления изменениями в системе.
Глубокое погружение
Определите, что нуждается в защите: частные входные данные, данные обучения, артефакты модели, учетные данные, подключенные учетные записи и внешние действия. Запишите, кто может влиять на каждый ввод и какую выгоду может получить злоумышленник в случае сбоя. Публичный чат-бот и внутренний агент с доступом на запись имеют разные модели угроз. Угрозы могут затрагивать разные этапы. Отравленный учебный материал может изменить усвоенное поведение; состязательные данные могут манипулировать прогнозами; ненадежный полученный контент может перенаправить приложение, использующее инструмент. Вывод модели также может стать опасным, если он вставлен в запрос к базе данных, веб-страницу или команду без соответствующей обработки. Примените элементы управления на границе программного обеспечения. Обеспечьте авторизацию в коде, по возможности храните секреты вне контекста, видимого для модели, ограничивайте область применения инструмента и проверяйте выходные данные перед использованием. Подсказка с просьбой к модели вести себя безопасно не может заменить изоляцию учетной записи или проверку разрешений. Протестируйте репрезентативные пути отказа в авторизованной среде и поддерживайте процесс обработки инцидентов. Зарегистрируйте достаточно информации для расследования, не собирая ненужный конфиденциальный контент. Оценивайте элементы управления после внесения изменений в модель, источники получения, инструменты и зависимости. Честно опишите остаточный риск; ни один фильтр не обеспечивает полную защиту.
04Рабочий пример
Найдите границу безопасности
Представьте себе помощника, который ищет в хранилище личных документов вошедшего в систему пользователя.
Примените фильтр доступа пользователя в службе поиска до того, как документы войдут в контекст модели.
Протестируйте документ, принадлежащий другой учетной записи, и убедитесь, что ни его содержимое, ни идентифицирующие метаданные не отображаются в результате.
Что это показывает
Этот защитный гипотетический тест проверяет авторизацию независимо от готовности модели следовать инструкциям.
Реальная реализация
Убедитесь, что одна учетная запись не может получить документы другой учетной записи.
Проверьте созданные поля перед их использованием в операции с базой данных.
Применение на практике
Почему это важно
- Риски и безопасность. Катастрофический и повседневный вред ИИ зависит от того, кто понимает риски и может действовать.
- Более четкие решения. Общественная и профессиональная грамотность определяет, возможна ли с политической точки зрения сильная политика безопасности.
- Пробивая шумиху. Четкие объяснения уменьшают влияние шумихи, лабораторного пиара и расплывчатого этического театра.
Следите за
- Относитесь к экзистенциальному риску как к научной фантастике, в то время как возможности растут.
- Сбивает с толку безопасность поверхности продукта и выравнивание при высокой автономности.
- Оставляя неанглоязычную и неспециалистскую аудиторию только с некачественными источниками.
Следующие шаги
- Отдельные риски повреждения продукта, неправильного использования и потери контроля/перекоса.
- Спросите, какие доказательства могут изменить ваше мнение о сроках и серьезности.
- Предпочитайте первоисточники и конкретные оценки маркетинговым заявлениям.
- Определите один путь действий: карьера, политика, финансирование или навыки, а не только осведомленность.
Источники и дальнейшее чтение
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the AI Security quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
Достаточно ли надежная система, чтобы найти помощника?
Нет. Аутентификация, авторизация, обработка ввода и вывода, ограничения инструментов и реагирование на инциденты остаются необходимыми частями приложения.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме