ДаліНаступний посібник
Одноразове редагування Tune-A-Video
Візуальний ШІ
Візуальний AI GUIDE
Інтерактивне редагування DragGAN
DragGAN дозволяє редагувати зображення, буквально перетягуючи точки: захопіть точку та перетягніть її до цілі, і зображення реалістично деформується, змінюючи позу, форму чи вираз.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
Це важливо, оскільки робить можливим точне, інтуїтивно зрозуміле керування зображеннями без повзунків, масок чи текстових підказок.
Глибоке занурення
DragGAN від Pan, Tewari, Leimkuhler та їхніх колег із Max Planck and partners (SIGGRAPH 2023) запровадили точкове інтерактивне редагування зображень, створених GAN. Користувач розміщує одну або кілька точок «ручки» на зображенні та відповідні «цільові» точки, куди вони повинні рухатися. Потім DragGAN ітеративно підштовхує прихований код, щоб вміст під кожним маркером ковзав до своєї цілі, а решта зображення залишалася цілісною. Ви можете подовжити лапи тварини, змусити людину посміхнутися, повернути машину або змінити контури пейзажу, все це перетягуючи. Важливо те, що редагування враховує навчене різноманіття зображень, тому результати залишаються реалістичними, а не змазують пікселі. Додаткова маска обмежує, які регіони можна переміщати, надаючи точний локалізований контроль.
Реалізація в реальному світі
Коригування виразу портрета, напрямку погляду або зачіски шляхом перетягування точок обличчя
Зміна пози та орієнтації тварини чи транспортного засобу, як-от обертання автомобіля чи зміна положення голови лева
Зміна форми фотографій продукту (подовження, розширення або зміна положення об’єктів) для макетів дизайну
Тонка настройка ландшафту або модних образів шляхом перетягування контурів, наприклад, змінення форм гір або крою одягу
Майбутнє інтерактивного редагування DragGAN
DragGAN спровокував швидку подальшу роботу, запровадивши керування на основі перетягування в дифузійні моделі (такі як DragDiffusion і FreeDrag), які обробляють реальні фотографії та довільний вміст більш надійно, ніж лише GAN. Очікуйте, що редагування перетягуванням стане стандартним інструментом у програмному забезпеченні для творчості, у поєднанні з елементами керування текстом і регіонами, а також розповсюджене на відео та 3D, щоб користувачі могли розміщувати об’єкти між кадрами або інтерактивно змінювати форму сіток, зберігаючи фотореалізм.
Застосування на практиці
Чому це важливо
- Швидкість і масштаб. Візуальний штучний інтелект може автоматизувати масштабні завдання перевірки, виявлення та позначення тегами.
- Створіть вибір. Творчі групи можуть створювати прототипи концепцій швидше з меншою кількістю переглядів вручну.
- Команда та робочий процес. Операції можуть використовувати зображення та відеосигнали, які раніше було важко обробити.
Зверніть увагу на
- Права на зображення та згода можуть стати юридичними ризиками, якщо походження невідоме.
- Продуктивність моделі може відрізнятися залежно від освітлення, демографічних показників і середовища.
- Помилкові спрацьовування можуть залишитися непоміченими, якщо не відстежувати пороги довіри.
Наступні кроки
- Визначте критерії прийнятності для точності, відкликання та вартості помилок.
- Тестуйте з даними, які відповідають реальним умовам виробництва.
- Додайте перевірку людиною для прогнозів із низьким рівнем достовірності або високого впливу.
- Відстежуйте дрейф моделі та повторно перевіряйте після зміни камери або набору даних.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the DragGAN Interactive Editing quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
Що таке інтерактивне редагування DragGAN?
DragGAN дозволяє редагувати зображення, буквально перетягуючи точки: захопіть точку та перетягніть її до цілі, і зображення реалістично деформується, змінюючи позу, форму чи вираз. Це важливо, оскільки робить можливим точне, інтуїтивно зрозуміле керування зображеннями без повзунків, масок чи текстових підказок.
Як користувач редагує зображення в DragGAN?
DragGAN редагує роботу, розміщуючи точки ручки та перетягуючи їх у цільові місця, відповідно деформуючи зображення.
Які два чергуються основні кроки DragGAN?
DragGAN чергує нагляд за рухом (переміщення елементів до цілей) і відстеження точок (переміщення маркерів), повторюючи, доки не буде завершено.
Чому зміни DragGAN виглядають реалістично, а не змащено?
Оскільки маніпуляції відбуваються в латентному просторі попередньо навченого GAN, результати залишаються на різноманітності реалістичних зображень.
Чим керує додаткова маска в DragGAN?
Маска дозволяє користувачам обмежити редагування вибраними областями, щоб решта зображення залишалася фіксованою.
На якому майданчику у 2023 році відбулася помітна презентація DragGAN?
DragGAN було опубліковано на SIGGRAPH 2023, провідній конференції з комп’ютерної графіки.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми