ДалееСледующее руководство
Монтаж одного кадра Tune-A-Video
Визуальный ИИ
Визуальное руководство по искусственному интеллекту
Интерактивное редактирование DragGAN
DragGAN позволяет редактировать изображение, буквально перетаскивая точки: захватите точку и перетащите ее к цели, и изображение реалистично деформируется, меняя позу, форму или выражение.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
It matters because it makes precise, intuitive image manipulation possible without sliders, masks, or text prompts.
Глубокое погружение
DragGAN от Пана, Тевари, Леймкухлера и коллег из Max Planck and Partners (SIGGRAPH 2023) представил точечное интерактивное редактирование изображений, созданных с помощью GAN. Пользователь размещает на изображении одну или несколько точек «манипулятора» и соответствующие «целевые» точки, куда они должны перемещаться. Затем DragGAN итеративно подталкивает скрытый код, так что содержимое под каждым дескриптором скользит к цели, в то время как остальная часть изображения остается связной. Вы можете удлинить ноги животного, заставить человека улыбнуться, повернуть машину или изменить контуры ландшафта, и все это путем перетаскивания. Важно отметить, что при редактировании учитывается многообразие изученных изображений, поэтому результаты остаются реалистичными, а не размывают пиксели. Дополнительная маска ограничивает области, которым разрешено перемещаться, обеспечивая точный локализованный контроль.
Реальная реализация
Настройка выражения лица, направления взгляда или прически портрета путем перетаскивания точек лица.
Изменение позы и ориентации животного или транспортного средства, например поворот автомобиля или изменение положения головы льва.
Изменение формы фотографий продукта (удлинение, расширение или перемещение объектов) для дизайнерских макетов.
Точная настройка пейзажей или модных изображений путем перетаскивания контуров, например изменение формы гор или подгонки одежды.
Будущее интерактивного редактирования DragGAN
DragGAN вызвал быструю последующую работу по внедрению управления на основе перетаскивания в модели диффузии (такие как DragDiffusion и FreeDrag), которые обрабатывают реальные фотографии и произвольный контент более надежно, чем одни GAN. Ожидается, что редактирование перетаскиванием станет стандартным инструментом в творческом программном обеспечении в сочетании с элементами управления текстом и областями, а также будет расширено до видео и 3D, чтобы пользователи могли размещать объекты в кадрах или изменять форму сеток в интерактивном режиме, сохраняя при этом фотореализм.
Применение на практике
Почему это важно
- Скорость и масштаб. Визуальный ИИ может автоматизировать задачи проверки, обнаружения и маркировки в любом масштабе.
- Выбор сборки. Творческие группы могут быстрее создавать прототипы концепций с меньшим количеством доработок вручную.
- Команда и рабочий процесс. Операции могут использовать изображения и видеосигналы, которые раньше было трудно обрабатывать.
Следите за
- Права на изображение и согласие могут стать юридическими рисками, если происхождение неясно.
- Производительность модели может варьироваться в зависимости от освещения, демографии и окружающей среды.
- Ложноположительные результаты могут остаться незамеченными, если не контролировать пороговые значения достоверности.
Следующие шаги
- Определите критерии приемки точности, стоимости отзыва и ошибок.
- Тестируйте с данными, которые соответствуют реальным производственным условиям.
- Добавьте человеческую проверку для прогнозов с низкой достоверностью или высокой эффективностью.
- Отслеживайте дрейф модели и выполняйте ее повторную проверку после изменений камеры или набора данных.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the DragGAN Interactive Editing quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
What is DragGAN Interactive Editing?
DragGAN позволяет редактировать изображение, буквально перетаскивая точки: захватите точку и перетащите ее к цели, и изображение реалистично деформируется, меняя позу, форму или выражение. Это важно, поскольку делает возможным точное и интуитивное манипулирование изображениями без ползунков, масок или текстовых подсказок.
Как пользователь редактирует изображение в DragGAN?
Редактирование DragGAN осуществляется путем размещения точек-манипуляторов и их перетаскивания в целевые места, соответствующим образом деформируя изображение.
Каковы два основных чередующихся шага DragGAN?
DragGAN чередует контроль движения (перемещение объектов к целям) и отслеживание точек (перемещение маркеров), повторяя действия до тех пор, пока не будет выполнено.
Почему изменения DragGAN выглядят реалистично, а не размазано?
Поскольку манипуляции происходят в скрытом пространстве предварительно обученной GAN, выходные данные остаются в множестве реалистичных изображений.
Что контролирует дополнительная маска в DragGAN?
Маска позволяет пользователям ограничивать редактирование выбранными областями, чтобы остальная часть изображения оставалась фиксированной.
На какой площадке в 2023 году особенно был представлен DragGAN?
DragGAN был опубликован на SIGGRAPH 2023, ведущей конференции по компьютерной графике.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме