Vizuální průvodce AI

Interaktivní úpravy DragGAN

DragGAN umožňuje upravovat obrázek doslova přetažením bodů: uchopte místo a přetáhněte jej na cíl a obrázek se realisticky zdeformuje a změní pózu, tvar nebo výraz.

Poslechněte si tento návodAI-vyprávěný · ~2 min

Na této stránce2 minuty čtení
  1. Přehled
  2. Hluboký ponor
  3. Real-World Implementace
  4. Budoucnost interaktivního střihu DragGAN
  5. Uvedení do praxe
  6. Pokračujte v objevování
  7. Často kladené otázky

Přehled

It matters because it makes precise, intuitive image manipulation possible without sliders, masks, or text prompts.

Hluboký ponor

DragGAN ze společnosti Pan, Tewari, Leimkuhler a kolegové ze společnosti Max Planck a partneři (SIGGRAPH 2023) představil bodovou interaktivní úpravu obrázků generovaných GAN. Uživatel umístí na obrázek jeden nebo více „úchytových“ bodů a odpovídajících „cílových“ bodů, kam by se měly pohybovat. DragGAN poté iterativně posouvá latentní kód tak, aby obsah pod každým úchytem klouzal směrem k cíli, zatímco zbytek obrázku zůstal koherentní. Můžete prodloužit nohy zvířete, přimět člověka k úsměvu, otočit auto nebo změnit obrysy krajiny, to vše tažením. Rozhodující je, že úpravy respektují naučené množství obrázků, takže výsledky zůstávají spíše realistické než rozmazání pixelů. Volitelná maska ​​omezuje, které oblasti se mohou pohybovat, což poskytuje jemné lokalizované ovládání.

Real-World Implementace

Úprava výrazu portrétu, směru pohledu nebo účesu přetažením bodů obličeje

Změna polohy a orientace zvířete nebo vozidla, jako je otočení auta nebo přemístění lví hlavy

Změna tvaru produktových fotografií (prodloužení, rozšíření nebo přemístění objektů) pro návrhové makety

Dolaďte obrázky krajiny nebo módy přetažením obrysů, jako je změna horských tvarů nebo střihu oděvu

Budoucnost interaktivního střihu DragGAN

DragGAN podnítil rychlou následnou práci, která přinesla ovládání založené na přetažení do modelů difúze (jako jsou DragDiffusion a FreeDrag), které zpracovávají skutečné fotografie a libovolný obsah robustněji než samotné GAN. Očekávejte, že se editace přetažením stane standardním nástrojem v kreativním softwaru, v kombinaci s ovládacími prvky textu a oblastí a rozšířená na video a 3D, takže uživatelé mohou interaktivně umisťovat objekty do rámečků nebo přetvářet sítě, to vše při zachování fotorealismu.

Uvedení do praxe

Proč na tom záleží

  • Rychlost a měřítko. Vizuální AI může automatizovat úkoly inspekce, detekce a označování ve velkém měřítku.
  • Volby sestavy. Kreativní týmy mohou prototypovat koncepty rychleji s menším počtem ručních revizí.
  • Tým a pracovní postup. Operace mohou využívat obrazové a video signály, které bylo dříve obtížné zpracovat.

Pozor na

  • Obrazová práva a souhlas se mohou stát právním rizikem, pokud je původ nejasný.
  • Výkon modelu se může lišit podle osvětlení, demografických údajů a prostředí.
  • Falešně pozitivní mohou zůstat bez povšimnutí, pokud nejsou monitorovány prahové hodnoty spolehlivosti.

Další kroky

  1. Definujte kritéria přijatelnosti pro přesnost, stažení a náklady na chyby.
  2. Testujte s daty, která odpovídají reálným výrobním podmínkám.
  3. Přidejte lidskou kontrolu pro předpovědi s nízkou spolehlivostí nebo velkým dopadem.
  4. Sledujte posun modelu a znovu ověřte po změnách kamery nebo datové sady.

Pokračujte v objevování

Newsletter zdarma

Získejte denní přehled o AI

Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.

Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.

Otestujte se

Take the DragGAN Interactive Editing quiz

Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.

Spustit kvíz

Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte

Často kladené otázky

What is DragGAN Interactive Editing?

DragGAN umožňuje upravovat obrázek doslova přetažením bodů: uchopte místo a přetáhněte jej na cíl a obrázek se realisticky zdeformuje a změní pózu, tvar nebo výraz. Je to důležité, protože umožňuje přesnou a intuitivní manipulaci s obrázky bez posuvníků, masek nebo textových výzev.

Jak uživatel upraví obrázek v DragGAN?

Úpravy DragGAN fungují tak, že umístíte body úchytů a přetáhnete je na cílová místa, čímž se odpovídajícím způsobem deformuje obrázek.

Jaké jsou dva střídající se základní kroky DragGAN?

DragGAN střídá dohled nad pohybem (přesouvání prvků směrem k cílům) a sledování bodů (přemístění rukojetí), iteruje, dokud není hotovo.

Proč úpravy DragGAN vypadají spíše realisticky než rozmazaně?

Protože k manipulaci dochází v latentním prostoru předem připraveného GAN, výstupy zůstávají na rozmanitých realistických obrazech.

Co ovládá volitelná maska ​​v DragGAN?

Maska umožňuje uživatelům omezit úpravy na vybrané oblasti, takže zbytek obrázku zůstane neměnný.

Na jakém místě byl DragGAN představen v roce 2023?

DragGAN byl publikován na SIGGRAPH 2023, přední počítačové grafické konferenci.