Редактирование инструкций InstructPix2Pix
InstructPix2Pix позволяет редактировать фотографию, набрав простую команду, например «сделать зиму» или «превратить кошку в собаку», без масок или инструментов выделения.
Обзор
It taught a diffusion model to follow editing instructions directly.
Глубокое погружение
InstructPix2Pix (Brooks et al., 2023) — это диффузионная модель, настроенная так, чтобы принимать входное изображение плюс текстовую инструкцию и выводить отредактированное изображение за один прямой проход. Хитрость заключается в обучающих данных: авторы использовали GPT-3 для генерации пар подписей «до» и «после», а затем использовали «подсказку к подсказке» со стабильной диффузией для синтеза совпадающих пар изображений «до» и «после». Это дало им большой набор данных (исходное изображение, инструкция, отредактированное изображение) троек для обучения, и все это без ручной маркировки. Поскольку инструкции описывают изменение, а не всю сцену, модель сохраняет неупомянутые части изображения. Он использует две шкалы управления: одну для определения того, насколько точно он следует инструкциям, а другую для того, насколько точно оно соответствует исходному изображению, что позволяет пользователям сочетать силу редактирования с точностью.
Техническая информация
Модель учитывает как исходное изображение, так и инструкцию, применяя руководство без классификатора по двум осям. Одна шкала взвешивает текстовую инструкцию, другая — входное изображение. Увеличение масштаба изображения сохраняет большую часть оригинала нетронутой, а увеличение масштаба текста делает редактирование более агрессивным. Это двойное руководство позволяет с помощью одной общей инструкции надежно изменить один аспект, оставляя при этом остальную часть фотографии узнаваемой.
Стратегическое воздействие
Скорость и масштаб
Визуальный ИИ может автоматизировать задачи проверки, обнаружения и маркировки в любом масштабе.
Выбор сборки
Творческие группы могут быстрее создавать прототипы концепций с меньшим количеством доработок вручную.
Команда и рабочий процесс
Операции могут использовать изображения и видеосигналы, которые раньше было трудно обрабатывать.
Будущее редактирования инструкций InstructPix2Pix
Редактирование на основе инструкций становится интерфейсом по умолчанию для инструментов обработки изображений, которые теперь встроены в основные приложения и их преемники, такие как MagicBrush и новые многоходовые редакторы. Ожидайте лучшего сохранения мелких деталей, надежной обработки пространственных инструкций, таких как «переместить лампу влево», а также плавного расширения видео, где одна команда редактирует весь клип. Сочетание этих моделей с языковыми агентами может позволить вам описать полный сеанс редактирования в диалоговом режиме.
Реальная реализация
Блогер вводит команду «добавить осеннюю листву», чтобы изменить внешний вид фотографии летнего пейзажа для сезонного поста.
Продавец электронной коммерции дает указание «изменить цвет рубашки на темно-синий», чтобы создать варианты цвета продукта с помощью одного кадра.
Учитель редактирует историческую фотографию с помощью функции «Раскрасить это», чтобы сделать черно-белое архивное изображение ярким для урока.
Создатель мема командует «надеть на собаку солнцезащитные очки», не маскируя морду собаки вручную.
Риски и ограничения
Права на изображение и согласие могут стать юридическими рисками, если происхождение неясно.
Производительность модели может варьироваться в зависимости от освещения, демографии и окружающей среды.
Ложноположительные результаты могут остаться незамеченными, если не контролировать пороговые значения достоверности.
Дорожная карта реализации
Определите критерии приемки точности, стоимости отзыва и ошибок.
Тестируйте с данными, которые соответствуют реальным производственным условиям.
Добавьте человеческую проверку для прогнозов с низкой достоверностью или высокой эффективностью.
Отслеживайте дрейф модели и выполняйте ее повторную проверку после изменений камеры или набора данных.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the InstructPix2Pix Instruction Editing quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Интерактивное редактирование DragGAN
Часто задаваемые вопросы
What is InstructPix2Pix Instruction Editing?
InstructPix2Pix позволяет редактировать фотографию, набрав простую команду, например «сделать зиму» или «превратить кошку в собаку», без масок или инструментов выделения. Он научил модель распространения напрямую следовать инструкциям по редактированию.
Как сообщить InstructPix2Pix, что нужно изменить?
Вы просто вводите команду типа «сделай зиму»; никаких масок или выбора региона не требуется.
Как создавались обучающие данные InstructPix2Pix?
Авторы объединили пары подписей, сгенерированные GPT-3, с синтезом изображений «подсказка к подсказке», чтобы автоматически создавать тройки.
Что контролируют две навигационные шкалы InstructPix2Pix?
Одна шкала определяет, насколько строго редактирование следует инструкциям; другой определяет, какая часть исходного изображения сохраняется.
Почему модель склонна оставлять неупомянутые части изображения в покое?
Инструкция нацелена на конкретное изменение, поэтому модель сохраняет области, которые не упоминаются в инструкции.
Сколько проходов вперед необходимо InstructPix2Pix для редактирования?
Это единая модель условного распространения, которая объединяет изображение и инструкцию и выводит редактирование.