ДаліНаступний посібник
Розмовне редагування зображень за допомогою мультимодальних моделей
Візуальний ШІ
Візуальний AI GUIDE
Редагування інструкцій InstructPix2Pix
InstructPix2Pix дозволяє редагувати фотографію, ввівши звичайну команду, як-от «зробити це зимою» або «перетворити кота на собаку», без використання масок чи інструментів виділення.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
Це навчило дифузійну модель безпосередньо слідувати інструкціям редагування.
Глибоке занурення
InstructPix2Pix is a diffusion model conditioned on an input image and an editing instruction. Its authors constructed synthetic training pairs by using GPT-3 to generate instructions and Prompt-to-Prompt with Stable Diffusion to create edited image examples. They report that the trained model can apply user-written instructions to real images without per-example fine-tuning or inversion. This does not mean inference is a single network evaluation: diffusion sampling still uses iterative denoising. Two guidance scales trade instruction adherence against similarity to the source image, and the model can alter details beyond the requested edit, so review remains necessary.
Реалізація в реальному світі
Блогер вводить слово «додати осіннє листя», щоб змінити шкірку фотографії літнього пейзажу для сезонної публікації.
Продавець електронної комерції дає вказівку «змінити колір сорочки на темно-синій», щоб створити варіанти кольорів продукту з одного кадру.
Учитель редагує історичну фотографію за допомогою «розфарбувати це», щоб зробити чорно-біле архівне зображення яскравим для уроку.
Творець мему наказує «надіньте сонцезахисні окуляри на собаку», не маскуючи обличчя собаки вручну.
Майбутнє редагування інструкцій InstructPix2Pix
Instruction-based editing can make image changes easier to request, but generative outputs still need review for unintended alterations, missing details, and unsupported historical claims.
Застосування на практиці
Чому це важливо
- Швидкість і масштаб. Візуальний штучний інтелект може автоматизувати масштабні завдання перевірки, виявлення та позначення тегами.
- Створіть вибір. Творчі групи можуть створювати прототипи концепцій швидше з меншою кількістю переглядів вручну.
- Команда та робочий процес. Операції можуть використовувати зображення та відеосигнали, які раніше було важко обробити.
Зверніть увагу на
- Права на зображення та згода можуть стати юридичними ризиками, якщо походження невідоме.
- Продуктивність моделі може відрізнятися залежно від освітлення, демографічних показників і середовища.
- Помилкові спрацьовування можуть залишитися непоміченими, якщо не відстежувати пороги довіри.
Наступні кроки
- Визначте критерії прийнятності для точності, відкликання та вартості помилок.
- Тестуйте з даними, які відповідають реальним умовам виробництва.
- Додайте перевірку людиною для прогнозів із низьким рівнем достовірності або високого впливу.
- Відстежуйте дрейф моделі та повторно перевіряйте після зміни камери або набору даних.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the InstructPix2Pix Instruction Editing quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
Що таке редагування інструкцій InstructPix2Pix?
InstructPix2Pix дозволяє редагувати фотографію, ввівши звичайну команду, як-от «зробити це зимою» або «перетворити кота на собаку», без використання масок чи інструментів виділення. Це навчило дифузійну модель безпосередньо слідувати інструкціям редагування.
Як сказати InstructPix2Pix, що змінити?
Ви просто вводите інструкцію на кшталт «зробити зимою»; не потрібні маски чи вибір регіону.
Як створювалися навчальні дані InstructPix2Pix?
Автори поєднали пари титрів, згенерованих GPT-3, із синтезом зображень Prompt-to-Prompt для автоматичного створення трійок.
Чим керують дві вказівні шкали InstructPix2Pix?
Одна шкала визначає, наскільки редагування відповідає інструкції; інший визначає, скільки вихідного зображення буде збережено.
Чому модель намагається залишити в спокої незгадані частини зображення?
Інструкція націлена на конкретну зміну, тому модель зберігає регіони, які не згадуються в інструкції.
Does InstructPix2Pix require separate per-image fine-tuning or inversion before applying an edit?
The paper describes applying the trained model to an image and instruction without per-example fine-tuning or inversion. The diffusion model still performs iterative denoising during inference.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми