Извлечение модели и атаки кражи
Атаки с извлечением моделей позволяют злоумышленнику клонировать запатентованную модель ИИ, просто запрашивая ее общедоступный API и обучая подражателя получению ответов.
Обзор
Атаки с извлечением моделей позволяют злоумышленнику клонировать запатентованную модель ИИ, просто запрашивая ее общедоступный API и обучая подражателя получению ответов. Это важно, потому что компании тратят миллионы обучающих моделей, которые можно аппроксимировать по цене нескольких тысяч вызовов API.
Атаки по извлечению моделей и краже находятся на пересечении возможностей, власти и общественного выбора, где безопасность, управление и легитимность решают, будет ли продвинутый ИИ помогать или вредить в масштабе.
Глубокое погружение
Атака извлечения модели (или кражи модели) рассматривает развернутую модель как оракул. Злоумышленник отправляет входные данные, записывает выходные данные и обучает подставную модель имитировать поведение. Поскольку целевая модель сама по себе представляет собой изученную функцию, сопоставляющую входные данные с выходными, копирование достаточного количества пар ввода-вывода может восстановить точное приближение, даже не видя исходных весов или обучающих данных. Исследователи украли решающие границы классификаторов изображений и даже восстановили точные веса небольших слоев. В 2024 году команда показала, что части слоев внедрения производственной модели OpenAI и Google можно извлечь менее чем за несколько сотен долларов. Украденные копии подрывают платные услуги, обходят фильтры безопасности и делают возможным дальнейшие атаки «белого ящика», такие как создание состязательных примеров.
Техническая информация
Чем богаче ответ API, тем дешевле будет кража. Возврат полных векторов вероятности или логитов приводит к утечке гораздо большего количества информации за запрос, чем одна метка топ-1, поэтому злоумышленники восстанавливают границы с меньшим количеством запросов. Стратегии активного обучения выбирают наиболее информативные запросы вблизи границ принятия решения. Знаменательный результат показал, что запрос, превышающий количество выходных измерений, может восстановить окончательный слой линейной проекции точно с помощью линейной алгебры, поскольку этот слой фактически представляет собой матрицу, охватывающую ответы.
Освоение извлечения моделей и атак кражи
Чтобы добиться более глубокого понимания, рассматривайте извлечение моделей и атаки кражи как операционную модель, а не как отдельную функцию. Определите желаемые результаты, проясните предположения и отделите то, что система может делать надежно, от того, что все еще требует экспертной оценки.
На практике сильные команды, использующие извлечение моделей и атаки с кражей, сочетают рост возможностей с управлением, безопасностью и четкими структурами подотчетности. Они документируют явные критерии успеха, проводят тестирование на основе реалистичных данных и рабочих процессов, а также выполняют итерации на основе наблюдаемых моделей неудач, а не разовых побед в тестах. Именно здесь теоретическое понимание превращается в прочные возможности в отношении продукта, политики и операций.
Катастрофический и повседневный вред ИИ зависит от того, кто понимает риски и может действовать. В то же время, отношение к экзистенциальному риску как к научной фантастике, в то время как возможности растут. Самый устойчивый подход — сочетать скорость экспериментирования с дисциплиной управления: запускать пилотные проекты, собирать доказательства, публиковать журналы решений и постоянно обновлять меры безопасности по мере развития поведения модели, ожиданий пользователей и нормативных требований.
Стратегическое воздействие
Катастрофический и повседневный вред ИИ зависит от того, кто понимает риски и может действовать.
Катастрофический и повседневный вред ИИ зависит от того, кто понимает риски и может действовать. В высококачественных развертываниях это выражается в измеримых рабочих правилах, границах владения и повторяющихся ритуалах проверки, что позволяет командам повышать уверенность, а не увеличивать двусмысленность.
Общественная и профессиональная грамотность определяет, возможна ли с политической точки зрения сильная политика безопасности.
Общественная и профессиональная грамотность определяет, возможна ли с политической точки зрения сильная политика безопасности. В высококачественных развертываниях это выражается в измеримых рабочих правилах, границах владения и повторяющихся ритуалах проверки, что позволяет командам повышать уверенность, а не увеличивать двусмысленность.
Четкие объяснения уменьшают влияние шумихи, лабораторного пиара и расплывчатого этического театра.
Четкие объяснения уменьшают влияние шумихи, лабораторного пиара и расплывчатого этического театра. В высококачественных развертываниях это выражается в измеримых рабочих правилах, границах владения и повторяющихся ритуалах проверки, что позволяет командам повышать уверенность, а не увеличивать двусмысленность.
Реальная реализация
Стартап тысячи раз запрашивает платный API распознавания изображений конкурента и обучает бесплатный клон, повторяющий его точность.
Исследователи безопасности извлекают окончательный уровень внедрения-проецирования рабочей языковой модели с помощью тщательно составленных запросов API, стоимость которых составляет всего несколько сотен долларов.
Злоумышленник клонирует классификатор спама или мошенничества локально, чтобы иметь возможность проверять его в автономном режиме и создавать входные данные, которые надежно ускользают от обнаружения.
Поставщик облачных услуг добавляет мониторинг частоты запросов, который помечает учетную запись, шаблон доступа которой соответствует извлечению активного обучения, и ограничивает ее ответы.
Шаблоны реализации
Извлечение модели и атаки кражи на практике
Стартап тысячи раз запрашивает платный API распознавания изображений конкурента и обучает бесплатный клон, повторяющий его точность.
Команды обычно добиваются лучших результатов, когда заранее определяют пороговые значения качества, сохраняют путь человеческой эскалации для крайних случаев и отслеживают как рост производительности, так и затраты на ошибки с течением времени.
Извлечение модели и атаки кражи на практике
Исследователи безопасности извлекают окончательный уровень внедрения-проецирования рабочей языковой модели с помощью тщательно составленных запросов API, стоимость которых составляет всего несколько сотен долларов.
Команды обычно добиваются лучших результатов, когда заранее определяют пороговые значения качества, сохраняют путь человеческой эскалации для крайних случаев и отслеживают как рост производительности, так и затраты на ошибки с течением времени.
Извлечение модели и атаки кражи на практике
Злоумышленник клонирует классификатор спама или мошенничества локально, чтобы иметь возможность проверять его в автономном режиме и создавать входные данные, которые надежно ускользают от обнаружения.
Команды обычно добиваются лучших результатов, когда заранее определяют пороговые значения качества, сохраняют путь человеческой эскалации для крайних случаев и отслеживают как рост производительности, так и затраты на ошибки с течением времени.
Извлечение модели и атаки кражи на практике
Поставщик облачных услуг добавляет мониторинг частоты запросов, который помечает учетную запись, шаблон доступа которой соответствует извлечению активного обучения, и ограничивает ее ответы.
Команды обычно добиваются лучших результатов, когда заранее определяют пороговые значения качества, сохраняют путь человеческой эскалации для крайних случаев и отслеживают как рост производительности, так и затраты на ошибки с течением времени.
Риски и ограничения
Относитесь к экзистенциальному риску как к научной фантастике, в то время как возможности растут.
Сбивает с толку безопасность поверхности продукта и выравнивание при высокой автономности.
Оставляя неанглоязычную и неспециалистскую аудиторию только с некачественными источниками.
Дорожная карта реализации
Отдельные риски повреждения продукта, неправильного использования и потери контроля/перекоса.
Относитесь к этому как к доказательству: если критерии не выполняются, приостановите внедрение, ликвидируйте пробел и только затем расширяйте использование.
Спросите, какие доказательства могут изменить ваше мнение о сроках и серьезности.
Относитесь к этому как к доказательству: если критерии не выполняются, приостановите внедрение, ликвидируйте пробел и только затем расширяйте использование.
Предпочитайте первоисточники и конкретные оценки маркетинговым заявлениям.
Относитесь к этому как к доказательству: если критерии не выполняются, приостановите внедрение, ликвидируйте пробел и только затем расширяйте использование.
Определите один путь действий: карьера, политика, финансирование или навыки, а не только осведомленность.
Относитесь к этому как к доказательству: если критерии не выполняются, приостановите внедрение, ликвидируйте пробел и только затем расширяйте использование.
Продолжайте исследовать
Check your understanding
Test yourself: take the Model Extraction and Stealing Attacks quiz