Редактиране на инструкции на InstructPix2Pix
InstructPix2Pix ви позволява да редактирате снимка, като напишете проста команда като „направете я зимна“ или „превърнете котката в куче“, без да са необходими маски или инструменти за избор.
Преглед
It taught a diffusion model to follow editing instructions directly.
Дълбоко гмуркане
InstructPix2Pix (Brooks et al., 2023) е дифузионен модел, фино настроен да приема входно изображение плюс текстова инструкция и да извежда редактираното изображение с едно преминаване напред. Неговият умен трик са данните за обучение: авторите са използвали GPT-3 за генериране на двойки надписи преди и след, след което са използвали Prompt-to-Prompt със стабилна дифузия, за да синтезират съвпадащи двойки изображения преди/след. Това им даде голям набор от данни (оригинално изображение, инструкция, редактирано изображение) тройки, върху които да тренират, всички без ръчно етикетиране. Тъй като инструкциите описват промяна, а не цяла сцена, моделът запазва неспоменатите части от изображението. Той използва две насочващи скали, една за това колко точно следва инструкцията и една за това колко вярно се придържа към оригиналното изображение, което позволява на потребителите да разменят силата на редактиране срещу прецизността.
Техническа информация
Условията на модела както върху изходното изображение, така и върху инструкцията, прилагайки насоки без класификатор по две оси. Една скала претегля текстовата инструкция, другата претегля входното изображение. Повишаването на мащаба на изображението запазва повече от оригинала непокътнат, докато увеличаването на мащаба на текста прави редакцията по-агресивна. Това двойно насочване е това, което позволява на една обща инструкция надеждно да промени един аспект, като същевременно оставя останалата част от снимката разпознаваема.
Стратегическо въздействие
Speed and scale
Visual AI може да автоматизира задачи за проверка, откриване и маркиране в мащаб.
Build choices
Творческите екипи могат да създават прототипи на концепции по-бързо с по-малко ръчни ревизии.
Team and workflow
Операциите могат да използват изображения и видео сигнали, които преди са били трудни за обработка.
Бъдещето на редактирането на инструкции на InstructPix2Pix
Базираното на инструкции редактиране се превръща в интерфейс по подразбиране за инструменти за изображения, които вече са включени в масови приложения и наследници като MagicBrush и нововъзникващите многооборотни редактори. Очаквайте по-добро запазване на фините детайли, надеждно боравене с пространствени инструкции като „преместете лампата наляво“ и безпроблемно разширение към видео, където една команда редактира цял клип. Свързването на тези модели с езикови агенти може да ви позволи да опишете пълна сесия за редактиране разговорно.
Внедряване в реалния свят
Блогър въвежда „добавяне на есенна зеленина“, за да промени кожата на снимка на летен пейзаж за сезонна публикация.
Продавач в електронна търговия инструктира „променете цвета на ризата на тъмносин“, за да създадете цветови варианти на продукта от една снимка.
Учител редактира историческа снимка с „оцветете това“, за да направи черно-бялото архивно изображение ярко за урок.
Създател на меме командва „сложете слънчеви очила на кучето“, без ръчно да маскира лицето на кучето.
Рискове и предпазни огради
Правата върху изображението и съгласието могат да се превърнат в правни рискове, ако произходът е неясен.
Производителността на модела може да варира в зависимост от осветлението, демографските данни и средата.
Фалшивите положителни резултати могат да останат незабелязани, освен ако не се наблюдават праговете на достоверност.
Пътна карта за изпълнение
Определете критерии за приемане за прецизност, извикване и разходи за грешки.
Тествайте с данни, които съответстват на реалните производствени условия.
Добавете преглед от човек за прогнози с ниска степен на сигурност или с голямо въздействие.
Проследявайте дрейфа на модела и проверявайте отново след промени в камерата или набора от данни.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the InstructPix2Pix Instruction Editing quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
DragGAN Интерактивно редактиране
Frequently asked questions
What is InstructPix2Pix Instruction Editing?
InstructPix2Pix ви позволява да редактирате снимка, като напишете проста команда като „направете я зимна“ или „превърнете котката в куче“, без да са необходими маски или инструменти за избор. Той научи дифузионния модел да следва директно инструкциите за редактиране.
Как казвате на InstructPix2Pix какво да промени?
Просто въвеждате инструкция като „направете го зимно“; не са необходими маски или избор на регион.
Как са създадени данните за обучение на InstructPix2Pix?
Авторите комбинираха двойки надписи, генерирани от GPT-3, със синтез на изображения Prompt-to-Prompt, за да изградят автоматично тройки.
Какво контролират двете скали за насочване на InstructPix2Pix?
Една скала управлява колко силно редакцията следва инструкцията; другият управлява каква част от изходното изображение се запазва.
Защо моделът е склонен да оставя неспоменати части от изображението?
Една инструкция е насочена към конкретна промяна, така че моделът запазва региони, които инструкцията не споменава.
Колко минавания напред са необходими на InstructPix2Pix, за да произведе редакция?
Това е един модел на условна дифузия, който събира изображението и инструкцията заедно и извежда редакцията.