Перехресне редагування підказок
Prompt-to-Prompt редагує згенероване зображення, налаштовуючи його текстову підказку, повторно використовуючи внутрішні карти уваги моделі, тому зміна одного слова змінює цей елемент, зберігаючи решту сцени недоторканою.
Огляд
It is editing through words, not pixels.
Глибоке занурення
Prompt-to-Prompt (Hertz та ін., 2022) — це техніка редагування на основі тексту в дифузійних моделях, яка не вимагає навчання. Ключове розуміння полягає в тому, що карти перехресної уваги, які повідомляють моделі, на які області зображення має впливати кожне слово, кодують просторове розташування сцени. Коли ви регенеруєте зображення за допомогою дещо зміненого підказки, метод додає оригінальні карти уваги підказки до нового запуску. Заміна слова, скажімо, «велосипед» на «мотоцикл», змінює цей об’єкт, зберігаючи композицію та фон. Додавання слова привертає увагу лише до незмінених токенів, тому новий атрибут з’являється без перетасування всього. Ви також можете змінити увагу маркера, щоб посилити або послабити його ефект. Оскільки він не потребує тонкого налаштування чи масок, він став основоположним будівельним блоком для багатьох пізніших методів редагування, включаючи генерацію даних InstructPix2Pix.
Технічне розуміння
Під час усунення шуму перехресна увага обчислює для кожного токена просторову карту того, де він перебуває на зображенні. Prompt-to-Prompt копіює ці карти з оригінальної генерації в відредаговану для спільних токенів. Для заміни слів він відображає увагу між відповідними лексемами; для доданих слів він зберігає старі карти та дозволяє лише новим лексемам формувати нову увагу; перезважування просто масштабує значення уваги маркера, посилюючи або приглушуючи його візуальний вплив.
Стратегічний вплив
Швидкість і масштаб
Візуальний штучний інтелект може автоматизувати масштабні завдання перевірки, виявлення та позначення тегами.
Створіть вибір
Творчі групи можуть створювати прототипи концепцій швидше з меншою кількістю переглядів вручну.
Команда та робочий процес
Операції можуть використовувати зображення та відеосигнали, які раніше було важко обробити.
Майбутнє поетапного редагування з перехресною увагою
Перехресна маніпуляція увагою тепер лежить в основі цілого сімейства керованих інструментів генерації, і ідеї поширюються на контроль уваги в новіших архітектурах і розповсюдження відео для тимчасово узгодженого редагування. Очікуйте тіснішої інтеграції з редагуванням реального зображення за допомогою інверсії, більш надійної обробки великих структурних змін і поєднання з моделями інструкцій, щоб фокуси уваги працювали непомітно в простому інтерфейсі природною мовою.
Реалізація в реальному світі
Дизайнер змінює «червоний автомобіль на вулиці» на «синій автомобіль на вулиці» та зберігає той самий макет сцени.
Ілюстратор змінює вагу слова «сніжний», щоб зробити пейзаж все більш зимовим у різних варіантах.
Оповідач замінює «лева» на «тигра» у підказці, щоб зберегти ідентичну позу та фон для аркуша персонажа.
Дослідник використовує його для створення парних зображень до/після як тренувальних даних для редактора, що виконує інструкції.
Ризики та огорожі
Права на зображення та згода можуть стати юридичними ризиками, якщо походження невідоме.
Продуктивність моделі може відрізнятися залежно від освітлення, демографічних показників і середовища.
Помилкові спрацьовування можуть залишитися непоміченими, якщо не відстежувати пороги довіри.
Дорожня карта впровадження
Визначте критерії прийнятності для точності, відкликання та вартості помилок.
Тестуйте з даними, які відповідають реальним умовам виробництва.
Додайте перевірку людиною для прогнозів із низьким рівнем достовірності або високого впливу.
Відстежуйте дрейф моделі та повторно перевіряйте після зміни камери або набору даних.
Продовжуйте досліджувати
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Prompt-to-Prompt Cross-Attention Editing quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Наступний посібник
Перехресна увага
Часті запитання
What is Prompt-to-Prompt Cross-Attention Editing?
Prompt-to-Prompt редагує згенероване зображення, налаштовуючи його текстову підказку, повторно використовуючи внутрішні карти уваги моделі, тому зміна одного слова змінює цей елемент, зберігаючи решту сцени недоторканою. Це редагування за допомогою слів, а не пікселів.
Яку внутрішню інформацію повторно використовує Prompt-to-Prompt для збереження сцени?
Карти перехресної уваги кодують, де кожне слово впливає на зображення, тому їх повторне використання зберігає макет незмінним під час редагування.
Чи вимагає Prompt-to-Prompt тонке налаштування моделі?
Він маніпулює увагою під час висновків і не потребує додаткового навчання.
Що дає перезважування уваги маркера?
Масштабування значень уваги маркера підсилює або приглушує, наскільки сильно ця концепція виглядає.
Чому «Підказка до підказки» вважається основоположною технікою?
Його маніпуляція увагою без навчання стала будівельним блоком, який повторно використовувався в подальшому дослідженні редагування.