Инверсия нулевого текста
Инверсия нулевого текста — это метод, который позволяет редактировать настоящую фотографию с помощью модели диффузии, управляемой текстом, такой как Stable Diffusion, сохраняя при этом все, что вы не просили изменить, в целости и сохранности.
Обзор
It bridges the gap between generating fresh images and faithfully reconstructing and re-editing ones you already have.
Глубокое погружение
Чтобы отредактировать реальное изображение с помощью диффузионной модели, сначала нужно запустить процесс генерации в обратном направлении, чтобы найти шум, который бы воссоздал его. Быстрый метод, называемый инверсией DDIM, делает это, но смещается, поэтому реконструкция выглядит немного неправильной. Руководство без классификаторов, которое повышает то, насколько сильно текстовые подсказки управляют изображением, сильно усиливает этот дрейф. Инверсия нулевого текста, представленная исследователями Google в 2022 году, исправляет это, оставляя модель замороженной и вместо этого оптимизируя встраивание «нулевого» (пустого) текста, используемого в руководстве, по одному на каждый временной шаг шумоподавления. Это прикрепляет реконструкцию обратно к исходному изображению, чтобы последующие правки, такие как превращение «собаки» в «кошку», меняли только предполагаемое содержимое.
Техническая информация
Руководство без классификатора экстраполирует между условным прогнозом (с подсказкой) и безусловным (с внедрением пустой подсказки). Инверсия нулевого текста сохраняет реальные подсказки и веса фиксированными, а градиент оптимизирует только это пустое встраивание на каждом из примерно 50 шагов распространения, поэтому управляемая траектория отслеживает заранее рассчитанный путь DDIM. Результатом является почти идеальная реконструкция с полной силой наведения, оставляющая подсказку свободной для точного редактирования.
Стратегическое воздействие
Скорость и масштаб
Визуальный ИИ может автоматизировать задачи проверки, обнаружения и маркировки в любом масштабе.
Выбор сборки
Творческие группы могут быстрее создавать прототипы концепций с меньшим количеством доработок вручную.
Команда и рабочий процесс
Операции могут использовать изображения и видеосигналы, которые раньше было трудно обрабатывать.
Будущее инверсии нулевого текста
Инверсия нулевого текста работала медленно, поскольку она оптимизируется для каждого изображения, поэтому новые работы направлены на мгновенную инверсию без оптимизации. Такие методы, как инверсия отрицательного подсказки, прямая инверсия и подходы, основанные на более быстрой согласованности и моделях в несколько шагов, нацелены на ту же точность за один прямой проход. Ожидайте, что инверсия станет тихой встроенной функцией в потребительских фоторедакторах, обеспечивающей надежное редактирование реального изображения, даже не видя пользователем математических вычислений.
Реальная реализация
Редактирование настоящей фотографии из отпуска: припаркованная машина приобретает другой цвет, а улица, люди и освещение остаются нетронутыми.
Замена породы настоящего питомца на семейном портрете без изменения фона или позы
Изменение сезона пейзажной фотографии (с летней листвы на осень) путем редактирования только подсказки.
Обеспечение локального редактирования в стиле «подсказка к подсказке» для загружаемых пользователем изображений в исследовательских демонстрациях и приложениях для редактирования.
Риски и ограничения
Права на изображение и согласие могут стать юридическими рисками, если происхождение неясно.
Производительность модели может варьироваться в зависимости от освещения, демографии и окружающей среды.
Ложноположительные результаты могут остаться незамеченными, если не контролировать пороговые значения достоверности.
Дорожная карта реализации
Определите критерии приемки точности, стоимости отзыва и ошибок.
Тестируйте с данными, которые соответствуют реальным производственным условиям.
Добавьте человеческую проверку для прогнозов с низкой достоверностью или высокой эффективностью.
Отслеживайте дрейф модели и выполняйте ее повторную проверку после изменений камеры или набора данных.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Null-Text Inversion quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Преобразование текста в видео
Часто задаваемые вопросы
What is Null-Text Inversion?
Инверсия нулевого текста — это метод, который позволяет редактировать настоящую фотографию с помощью модели диффузии, управляемой текстом, такой как Stable Diffusion, сохраняя при этом все, что вы не просили изменить, в целости и сохранности. Он устраняет разрыв между созданием свежих изображений и точной реконструкцией и повторным редактированием уже имеющихся у вас изображений.
Что на самом деле оптимизирует инверсия нулевого текста?
Он сохраняет модель и реальное приглашение замороженными и оптимизирует только встраивание безусловного/нулевого текста на каждом временном шаге, что происходит быстро и неразрушающе.
Почему простая инверсия DDIM становится ненадежной при использовании для редактирования?
Инверсия DDIM накапливает небольшие ошибки, а строгое руководство, необходимое для хорошего редактирования, усиливает этот дрейф, ухудшая качество реконструкции.
Какова основная цель инвертирования реального изображения перед его редактированием?
Для редактирования требуется начальное значение шума и траектория, которая восстанавливает оригинал, поэтому быстрые изменения изменяют только предполагаемое содержание.
Как примерно инверсия нулевого текста обеспечивает оптимизацию процесса распространения?
Отдельное встраивание нулевого текста настраивается для каждого временного шага, поэтому направляемый путь точно соответствует заранее вычисленной траектории инверсии.
С каким подходом к редактированию чаще всего сочетается инверсия нулевого текста?
Как только реальное изображение будет точно инвертировано, методы, основанные на подсказках, такие как «подсказка к подсказке», могут вносить целевые, локализованные изменения.