Запоминание в диффузионных моделях

Диффузионная модель учится обращать вспять процесс зашумления: во время обучения она видит изображения с добавленным шумом и учится предсказывать и удалять этот шум. Если он хорошо обобщает, он изучает статистику изображений в целом и создает новые комбинации. Но нейронные сети могут подходить и для отдельных примеров, и когда одно изображение появляется в данных сотни или тысячи раз, самый дешевый способ уменьшить потери на обучение — сохранить его. Ключевые доказательства взяты из статьи Карлини и его коллег 2023 года «Извлечение обучающих данных из диффузионных моделей». Они создали множество изображений для подписей к наиболее дублируемым обучающим изображениям и пометили результаты, которые были очень близки к обучающему изображению. Они извлекли более сотни почти идентичных копий из Stable Diffusion, включая фотографии опознаваемых людей, и обнаружили более высокие показатели запоминания у Imagen Google. Отдельно Сомепалли и его коллеги (2022–2023) показали, что Stable Diffusion на выходе часто копирует части или макеты обучающих изображений и связывает копирование с дублированными изображениями и весьма специфическими подписями. Три заблуждения заслуживают исправления. Во-первых, запоминание не является нормальным поведением модели: извлеченные копии редки относительно всех поколений. Во-вторых, редкость не означает безобидность, потому что решительный пользователь может выбрать те изображения, которые с наибольшей вероятностью запомнятся. В-третьих, запоминание – это не только точное копирование пикселей; модели могут воспроизводить символы, логотипы, водяные знаки и отличительные композиции. Эти доказательства фигурировали в юридических дебатах, в том числе в таких исках, как Getty Images против Stability AI и Андерсен против Stability AI, хотя то, как суды относятся к обучению моделей и результатам, все еще разрабатывается и варьируется в зависимости от страны. Что касается конфиденциальности, проблема более остра в небольших наборах данных с тонкой настройкой, таких как медицинские или личные фотографии, где каждый пример имеет большее влияние.