Interaktywna edycja DragGAN
DragGAN pozwala edytować obraz dosłownie przeciągając punkty: złap miejsce i przeciągnij je do celu, a obraz realistycznie się deformuje, zmieniając pozę, kształt lub wyraz.
Przegląd
It matters because it makes precise, intuitive image manipulation possible without sliders, masks, or text prompts.
Głębokie nurkowanie
DragGAN, z Pan, Tewari, Leimkuhler i współpracowników z Max Planck i partnerów (SIGGRAPH 2023), wprowadził interaktywną edycję punktową obrazów generowanych przez GAN. Użytkownik umieszcza jeden lub więcej punktów „uchwytu” na obrazie i odpowiadające im punkty „docelowe”, w które powinien się przesunąć. Następnie DragGAN iteracyjnie przesuwa ukryty kod, tak aby treść pod każdym uchwytem przesuwała się w stronę celu, podczas gdy reszta obrazu pozostała spójna. Możesz wydłużyć nogi zwierzęcia, wywołać uśmiech na twarzy, obrócić samochód lub zmienić kontury krajobrazu, a wszystko to poprzez przeciąganie. Co najważniejsze, zmiany uwzględniają wyuczoną różnorodność obrazów, dzięki czemu wyniki pozostają realistyczne, a nie rozmazane piksele. Opcjonalna maska ogranicza, które regiony mogą się poruszać, zapewniając precyzyjną zlokalizowaną kontrolę.
Wgląd techniczny
DragGAN działa we wstępnie wyszkolonej przestrzeni ukrytych i funkcjonalnych sieci GAN. Wykorzystuje dwa naprzemienne etapy: nadzór ruchu, który przesuwa ukryty kod, tak aby obiekty w pobliżu każdego uchwytu przesuwały się w kierunku docelowym, oraz śledzenie punktu, które przesuwa uchwyt tak, aby podążał za obiektem, do którego został zakotwiczony, przy użyciu wyszukiwania najbliższego sąsiada na mapach obiektów. Powtarzanie tych kroków przesuwa obraz wzdłuż rozmaitości GAN, tworząc gładkie, realistyczne deformacje.
Wpływ strategiczny
Szybkość i skala
Wizualna sztuczna inteligencja może automatyzować zadania inspekcji, wykrywania i znakowania na dużą skalę.
Buduj wybory
Zespoły kreatywne mogą szybciej prototypować koncepcje przy mniejszej liczbie ręcznych poprawek.
Zespół i przepływ pracy
Operacje mogą wykorzystywać sygnały obrazu i wideo, które wcześniej były trudne do przetworzenia.
Przyszłość interaktywnego montażu DragGAN
DragGAN zapoczątkował szybkie prace następcze, wprowadzając kontrolę opartą na przeciąganiu do modeli dyfuzyjnych (takich jak DragDiffusion i FreeDrag), które radzą sobie z prawdziwymi zdjęciami i dowolną treścią skuteczniej niż same GAN. Można się spodziewać, że edycja przez przeciąganie stanie się standardowym narzędziem w oprogramowaniu kreatywnym, połączona z kontrolą tekstu i regionu oraz rozszerzona na wideo i 3D, dzięki czemu użytkownicy będą mogli ustawiać obiekty w klatkach lub interaktywnie zmieniać kształty siatek, zachowując jednocześnie fotorealizm.
Implementacja w świecie rzeczywistym
Dostosowywanie wyrazu portretu, kierunku spojrzenia lub fryzury poprzez przeciąganie punktów twarzy
Zmiana pozycji i orientacji zwierzęcia lub pojazdu, na przykład obrócenie samochodu lub zmiana położenia głowy lwa
Przekształcanie zdjęć produktów (wydłużanie, poszerzanie lub zmiana położenia obiektów) na potrzeby makiet projektowych
Dostosowuj obrazy krajobrazów lub mody, przeciągając kontury, na przykład zmieniając kształty gór lub dopasowanie odzieży
Zagrożenia i poręcze
Prawa do wizerunku i zgoda mogą stanowić ryzyko prawne, jeśli pochodzenie jest niejasne.
Wydajność modelu może się różnić w zależności od oświetlenia, demografii i środowiska.
Fałszywie pozytywne wyniki mogą pozostać niezauważone, chyba że monitorowane są progi ufności.
Plan wdrożenia
Zdefiniuj kryteria akceptacji dotyczące kosztów precyzji, wycofania i błędów.
Przetestuj na danych odpowiadających rzeczywistym warunkom produkcyjnym.
Dodaj weryfikację manualną, aby prognozy były mało pewne lub miały duży wpływ.
Śledź dryf modelu i przeprowadzaj ponowną weryfikację po zmianie kamery lub zbioru danych.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the DragGAN Interactive Editing quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Jednorazowa edycja dostrojenia wideo
Często zadawane pytania
What is DragGAN Interactive Editing?
DragGAN pozwala edytować obraz dosłownie przeciągając punkty: złap miejsce i przeciągnij je do celu, a obraz realistycznie się deformuje, zmieniając pozę, kształt lub wyraz. Ma to znaczenie, ponieważ umożliwia precyzyjną, intuicyjną manipulację obrazem bez suwaków, masek i podpowiedzi tekstowych.
Jak użytkownik może edytować obraz w DragGAN?
Edycja DragGAN polega na umieszczaniu punktów uchwytów i przeciąganiu ich do docelowych lokalizacji, odpowiednio deformując obraz.
Jakie są dwa naprzemienne podstawowe kroki DragGAN?
DragGAN naprzemiennie nadzoruje ruch (przesuwa obiekty w kierunku celów) i śledzi punkt (przemieszczanie uchwytów), powtarzając aż do zakończenia.
Dlaczego zmiany DragGAN wyglądają realistycznie, a nie rozmazane?
Ponieważ manipulacja odbywa się w ukrytej przestrzeni wstępnie wyszkolonej sieci GAN, wyniki pozostają w postaci różnorodnych realistycznych obrazów.
Co kontroluje opcjonalna maska w DragGAN?
Maska pozwala użytkownikom ograniczyć edycję do wybranych regionów, dzięki czemu reszta obrazu pozostaje niezmieniona.
W jakim miejscu w 2023 r. zaprezentowano zwłaszcza DragGAN?
DragGAN został opublikowany na SIGGRAPH 2023, wiodącej konferencji poświęconej grafice komputerowej.