Interaktivní úpravy DragGAN
DragGAN umožňuje upravovat obrázek doslova přetažením bodů: uchopte místo a přetáhněte jej na cíl a obrázek se realisticky zdeformuje a změní pózu, tvar nebo výraz.
Přehled
It matters because it makes precise, intuitive image manipulation possible without sliders, masks, or text prompts.
Hluboký ponor
DragGAN ze společnosti Pan, Tewari, Leimkuhler a kolegové ze společnosti Max Planck a partneři (SIGGRAPH 2023) představil bodovou interaktivní úpravu obrázků generovaných GAN. Uživatel umístí na obrázek jeden nebo více „úchytových“ bodů a odpovídajících „cílových“ bodů, kam by se měly pohybovat. DragGAN poté iterativně posouvá latentní kód tak, aby obsah pod každým úchytem klouzal směrem k cíli, zatímco zbytek obrázku zůstal koherentní. Můžete prodloužit nohy zvířete, přimět člověka k úsměvu, otočit auto nebo změnit obrysy krajiny, to vše tažením. Rozhodující je, že úpravy respektují naučené množství obrázků, takže výsledky zůstávají spíše realistické než rozmazání pixelů. Volitelná maska omezuje, které oblasti se mohou pohybovat, což poskytuje jemné lokalizované ovládání.
Technický přehled
DragGAN pracuje v předem připraveném latentním a funkčním prostoru GAN. Využívá dva střídavé kroky: dohled nad pohybem, který posouvá latentní kód tak, aby se prvky v blízkosti každé rukojeti pohybovaly směrem k cílovému směru, a sledování bodu, které přemístí rukojeť tak, aby sledovala funkci, ke které byla ukotvena pomocí vyhledávání nejbližšího souseda v mapách objektů. Opakováním těchto kroků prochází obraz podél potrubí GAN a vytváří hladké, realistické deformace.
Strategický dopad
Rychlost a měřítko
Vizuální AI může automatizovat úkoly inspekce, detekce a označování ve velkém měřítku.
Volby sestavy
Kreativní týmy mohou prototypovat koncepty rychleji s menším počtem ručních revizí.
Tým a pracovní postup
Operace mohou využívat obrazové a video signály, které bylo dříve obtížné zpracovat.
Budoucnost interaktivního střihu DragGAN
DragGAN podnítil rychlou následnou práci, která přinesla ovládání založené na přetažení do modelů difúze (jako jsou DragDiffusion a FreeDrag), které zpracovávají skutečné fotografie a libovolný obsah robustněji než samotné GAN. Očekávejte, že se editace přetažením stane standardním nástrojem v kreativním softwaru, v kombinaci s ovládacími prvky textu a oblastí a rozšířená na video a 3D, takže uživatelé mohou interaktivně umisťovat objekty do rámečků nebo přetvářet sítě, to vše při zachování fotorealismu.
Real-World Implementace
Úprava výrazu portrétu, směru pohledu nebo účesu přetažením bodů obličeje
Změna polohy a orientace zvířete nebo vozidla, jako je otočení auta nebo přemístění lví hlavy
Změna tvaru produktových fotografií (prodloužení, rozšíření nebo přemístění objektů) pro návrhové makety
Dolaďte obrázky krajiny nebo módy přetažením obrysů, jako je změna horských tvarů nebo střihu oděvu
Rizika a zábradlí
Obrazová práva a souhlas se mohou stát právním rizikem, pokud je původ nejasný.
Výkon modelu se může lišit podle osvětlení, demografických údajů a prostředí.
Falešně pozitivní mohou zůstat bez povšimnutí, pokud nejsou monitorovány prahové hodnoty spolehlivosti.
Plán implementace
Definujte kritéria přijatelnosti pro přesnost, stažení a náklady na chyby.
Testujte s daty, která odpovídají reálným výrobním podmínkám.
Přidejte lidskou kontrolu pro předpovědi s nízkou spolehlivostí nebo velkým dopadem.
Sledujte posun modelu a znovu ověřte po změnách kamery nebo datové sady.
Pokračujte v objevování
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the DragGAN Interactive Editing quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Další průvodce
Tune-A-Video One-Shot střih
Často kladené otázky
What is DragGAN Interactive Editing?
DragGAN umožňuje upravovat obrázek doslova přetažením bodů: uchopte místo a přetáhněte jej na cíl a obrázek se realisticky zdeformuje a změní pózu, tvar nebo výraz. Je to důležité, protože umožňuje přesnou a intuitivní manipulaci s obrázky bez posuvníků, masek nebo textových výzev.
Jak uživatel upraví obrázek v DragGAN?
Úpravy DragGAN fungují tak, že umístíte body úchytů a přetáhnete je na cílová místa, čímž se odpovídajícím způsobem deformuje obrázek.
Jaké jsou dva střídající se základní kroky DragGAN?
DragGAN střídá dohled nad pohybem (přesouvání prvků směrem k cílům) a sledování bodů (přemístění rukojetí), iteruje, dokud není hotovo.
Proč úpravy DragGAN vypadají spíše realisticky než rozmazaně?
Protože k manipulaci dochází v latentním prostoru předem připraveného GAN, výstupy zůstávají na rozmanitých realistických obrazech.
Co ovládá volitelná maska v DragGAN?
Maska umožňuje uživatelům omezit úpravy na vybrané oblasti, takže zbytek obrázku zůstane neměnný.
Na jakém místě byl DragGAN představen v roce 2023?
DragGAN byl publikován na SIGGRAPH 2023, přední počítačové grafické konferenci.