Інверсія нульового тексту
Інверсія нульового тексту — це техніка, яка дає змогу редагувати реальну фотографію за допомогою моделі дифузії, керованої текстом, як-от Stable Diffusion, зберігаючи бездоганно все, що ви не просили змінити.
Огляд
It bridges the gap between generating fresh images and faithfully reconstructing and re-editing ones you already have.
Глибоке занурення
Щоб відредагувати реальне зображення за допомогою дифузійної моделі, спочатку потрібно запустити процес генерації назад, щоб знайти шум, який відтворить його. Швидкий метод під назвою інверсія DDIM робить це, але дрейфує, тому реконструкція виглядає дещо неправильною. Вказівки без класифікатора, які підвищують, наскільки чітко текстові підказки керують зображенням, підсилюють цей дрейф. Інверсія нульового тексту, запроваджена дослідниками Google у 2022 році, виправляє це, залишаючи модель замороженою та натомість оптимізуючи вбудовування «нульового» (порожнього) тексту, що використовується в інструкціях, по одному на кожен крок усунення шумів. Це закріплює реконструкцію на вихідному зображенні, щоб пізніші швидкі редагування, наприклад перетворення «собаки» на «кота», змінювали лише запланований вміст.
Технічне розуміння
Вказівки без класифікатора екстраполюють між умовним прогнозом (із підказкою) та безумовним (із вставленням порожньої підказки). Інверсія нульового тексту зберігає реальну підказку та ваги фіксованими, а градієнт оптимізує лише це порожнє вбудовування на кожному з приблизно 50 кроків дифузії, щоб керована траєкторія відстежувала попередньо обчислений шлях DDIM. Результатом є ідеальна майже піксельна реконструкція з повною потужністю навігації, залишаючи підказку вільною для точного редагування.
Стратегічний вплив
Швидкість і масштаб
Візуальний штучний інтелект може автоматизувати масштабні завдання перевірки, виявлення та позначення тегами.
Створіть вибір
Творчі групи можуть створювати прототипи концепцій швидше з меншою кількістю переглядів вручну.
Команда та робочий процес
Операції можуть використовувати зображення та відеосигнали, які раніше було важко обробити.
Майбутнє інверсії нульового тексту
Інверсія нульового тексту була повільною, оскільки вона оптимізує окреме зображення, тому новіші роботи підштовхують до миттєвої інверсії без оптимізації. Такі методи, як інверсія негативної підказки, пряма інверсія та підходи, побудовані на швидшій узгодженості та моделях із кількома кроками, націлені на однакову точність за один прохід вперед. Очікуйте, що інверсія стане тихим, вбудованим кроком у споживчих фоторедакторах, забезпечуючи надійне редагування реальних зображень без того, щоб користувач ніколи бачив математику.
Реалізація в реальному світі
Редагування реальної фотографії з відпустки, щоб припаркований автомобіль став іншим кольором, а вулиця, люди та освітлення залишалися недоторканими
Зміна породи справжньої тварини на сімейному портреті без зміни фону чи пози
Зміна сезону пейзажної фотографії (літнє листя на осіннє) шляхом редагування лише підказкового слова
Локальне редагування завантажених користувачами зображень у стилі «від запиту до запиту» в дослідницьких демонстраціях і програмах для редагування
Ризики та огорожі
Права на зображення та згода можуть стати юридичними ризиками, якщо походження невідоме.
Продуктивність моделі може відрізнятися залежно від освітлення, демографічних показників і середовища.
Помилкові спрацьовування можуть залишитися непоміченими, якщо не відстежувати пороги довіри.
Дорожня карта впровадження
Визначте критерії прийнятності для точності, відкликання та вартості помилок.
Тестуйте з даними, які відповідають реальним умовам виробництва.
Додайте перевірку людиною для прогнозів із низьким рівнем достовірності або високого впливу.
Відстежуйте дрейф моделі та повторно перевіряйте після зміни камери або набору даних.
Продовжуйте досліджувати
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Null-Text Inversion quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Наступний посібник
Make-A-Video Text-to-Video
Часті запитання
What is Null-Text Inversion?
Інверсія нульового тексту — це техніка, яка дає змогу редагувати реальну фотографію за допомогою моделі дифузії, керованої текстом, як-от Stable Diffusion, зберігаючи бездоганно все, що ви не просили змінити. Він усуває розрив між створенням нових зображень і точною реконструкцією та повторним редагуванням тих, які у вас уже є.
Що насправді оптимізує інверсія нульового тексту?
Він зберігає модель і реальну підказку замороженими та лише оптимізує безумовне/нульове вбудовування тексту на кожному кроці часу, що є швидким і неруйнівним.
Чому звичайна інверсія DDIM стає ненадійною, якщо її використовувати для редагування?
Інверсія DDIM накопичує невеликі помилки, а чітке керівництво, необхідне для якісного редагування, посилює цей дрейф, погіршуючи реконструкцію.
Яка головна мета інвертування реального зображення перед його редагуванням?
Для редагування потрібне зерно шуму та траєкторія, яка реконструює оригінал, тому швидкі зміни змінюють лише запланований вміст.
Приблизно, як інверсія нульового тексту справляється з оптимізацією в процесі розповсюдження?
Чітке вбудовування нульового тексту налаштовується за крок у часі, щоб керований шлях точно відстежував попередньо обчислену траєкторію інверсії.
Інверсія нульового тексту найчастіше поєднується з яким підходом редагування?
Після того, як реальне зображення точно інвертовано, керовані підказкою методи, як-от підказка до підказки, можуть вносити цілеспрямовані локалізовані зміни.