Обръщане на нулев текст
Обръщането на нулев текст е техника, която ви позволява да редактирате истинска снимка с модел на дифузия, управляван от текст, като Stable Diffusion, като същевременно запазвате всичко, което не сте поискали да промените, перфектно непокътнато.
Преглед
It bridges the gap between generating fresh images and faithfully reconstructing and re-editing ones you already have.
Дълбоко гмуркане
За да редактирате реално изображение с модел на дифузия, първо трябва да стартирате процеса на генериране назад, за да намерите шума, който би го пресъздал. Бърз метод, наречен DDIM инверсия, прави това, но се отклонява, така че реконструкцията изглежда малко погрешна. Насоки без класификатор, които повишават доколко силно текстовите подкани насочват изображението, усилва това лошо отклонение. Обръщането на нулев текст, въведено от изследователи на Google през 2022 г., коригира това, като оставя модела замразен и вместо това оптимизира вграждането на „нулев“ (празен) текст, използвано в насоките, по едно на времева стъпка за премахване на шума. Това закрепва реконструкцията обратно към оригиналното изображение, така че по-късните бързи редакции, като например превръщането на „куче“ в „котка“, променят само предвиденото съдържание.
Техническа информация
Насоките без класификатор екстраполират между условно предвиждане (с подкана) и безусловно (с вграждане на празна подкана). Обръщането на нулев текст поддържа истинската подкана и теглата фиксирани и оптимизира градиента само това празно вграждане на всяка от приблизително 50-те стъпки на дифузия, така че направляваната траектория проследява предварително изчисления DDIM път. Резултатът е почти съвършена за пиксели реконструкция с пълна сила на насочване, оставяйки подканата свободна за управление на прецизни редакции.
Стратегическо въздействие
Speed and scale
Visual AI може да автоматизира задачи за проверка, откриване и маркиране в мащаб.
Build choices
Творческите екипи могат да създават прототипи на концепции по-бързо с по-малко ръчни ревизии.
Team and workflow
Операциите могат да използват изображения и видео сигнали, които преди са били трудни за обработка.
Бъдещето на инверсията на нулев текст
Обръщането на нулев текст беше бавно, защото оптимизира за всяко изображение, така че по-новата работа тласка към незабавно инвертиране без оптимизация. Методи като инверсия с отрицателна подкана, директна инверсия и подходи, изградени върху по-бърза последователност и модели с няколко стъпки, се стремят към същата прецизност в едно преминаване напред. Очаквайте инверсията да се превърне в тиха, вградена стъпка в потребителските фоторедактори, позволяваща надеждно редактиране на реални изображения, без потребителят изобщо да вижда математиката.
Внедряване в реалния свят
Редактиране на истинска ваканционна снимка, така че паркираната кола да стане с различен цвят, докато улицата, хората и осветлението остават недокоснати
Смяна на породата на истински домашен любимец в семеен портрет, без да променяте фона или позата
Промяна на сезона на пейзажна снимка (лятна зеленина на есенна) чрез редактиране само на подканящата дума
Осъществяване на локални редакции в стил „от подкана до подкана“ на качени от потребители изображения в демонстрации за проучвания и приложения за редактиране
Рискове и предпазни огради
Правата върху изображението и съгласието могат да се превърнат в правни рискове, ако произходът е неясен.
Производителността на модела може да варира в зависимост от осветлението, демографските данни и средата.
Фалшивите положителни резултати могат да останат незабелязани, освен ако не се наблюдават праговете на достоверност.
Пътна карта за изпълнение
Определете критерии за приемане за прецизност, извикване и разходи за грешки.
Тествайте с данни, които съответстват на реалните производствени условия.
Добавете преглед от човек за прогнози с ниска степен на сигурност или с голямо въздействие.
Проследявайте дрейфа на модела и проверявайте отново след промени в камерата или набора от данни.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Null-Text Inversion quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Направете видео текст към видео
Frequently asked questions
What is Null-Text Inversion?
Обръщането на нулев текст е техника, която ви позволява да редактирате истинска снимка с модел на дифузия, управляван от текст, като Stable Diffusion, като същевременно запазвате всичко, което не сте поискали да промените, перфектно непокътнато. Той преодолява празнината между генерирането на нови изображения и точното реконструиране и редактиране на тези, които вече имате.
Какво всъщност оптимизира инверсията на нулев текст?
Той поддържа модела и реалната подкана замразени и оптимизира само вграждането на безусловен/нулев текст на всяка времева стъпка, което е бързо и неразрушително.
Защо обикновената DDIM инверсия става ненадеждна, когато се използва за редактиране?
Инверсията на DDIM натрупва малки грешки и силните насоки, необходими за добри редакции, увеличават това отклонение, унизително възстановяване.
Каква е основната цел на обръщането на реално изображение преди редактирането му?
Редактирането се нуждае от шумово семе и траектория, които възстановяват оригинала, така че бързите промени променят само предвиденото съдържание.
Приблизително как инверсията на нулев текст се справя с оптимизацията в процеса на разпространение?
Отделно вграждане на нулев текст се настройва на времева стъпка, така че направляваният път да проследява внимателно предварително изчислената траектория на инверсия.
Обръщането на нулев текст най-често се съчетава с какъв вид подход за редактиране?
След като реално изображение е точно обърнато, управляваните от подкана методи като подкана към подкана могат да направят целеви, локализирани промени.