NastępnyNastępny poradnik
Jednorazowa edycja dostrojenia wideo
Wizualna sztuczna inteligencja
PRZEWODNIK Wizualnej AI
Interaktywna edycja DragGAN
DragGAN pozwala edytować obraz dosłownie przeciągając punkty: złap miejsce i przeciągnij je do celu, a obraz realistycznie się deformuje, zmieniając pozę, kształt lub wyraz.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~2 min
Na tej stronie2 minuty czytania
Przegląd
It matters because it makes precise, intuitive image manipulation possible without sliders, masks, or text prompts.
Głębokie nurkowanie
DragGAN, z Pan, Tewari, Leimkuhler i współpracowników z Max Planck i partnerów (SIGGRAPH 2023), wprowadził interaktywną edycję punktową obrazów generowanych przez GAN. Użytkownik umieszcza jeden lub więcej punktów „uchwytu” na obrazie i odpowiadające im punkty „docelowe”, w które powinien się przesunąć. Następnie DragGAN iteracyjnie przesuwa ukryty kod, tak aby treść pod każdym uchwytem przesuwała się w stronę celu, podczas gdy reszta obrazu pozostała spójna. Możesz wydłużyć nogi zwierzęcia, wywołać uśmiech na twarzy, obrócić samochód lub zmienić kontury krajobrazu, a wszystko to poprzez przeciąganie. Co najważniejsze, zmiany uwzględniają wyuczoną różnorodność obrazów, dzięki czemu wyniki pozostają realistyczne, a nie rozmazane piksele. Opcjonalna maska ogranicza, które regiony mogą się poruszać, zapewniając precyzyjną zlokalizowaną kontrolę.
Implementacja w świecie rzeczywistym
Dostosowywanie wyrazu portretu, kierunku spojrzenia lub fryzury poprzez przeciąganie punktów twarzy
Zmiana pozycji i orientacji zwierzęcia lub pojazdu, na przykład obrócenie samochodu lub zmiana położenia głowy lwa
Przekształcanie zdjęć produktów (wydłużanie, poszerzanie lub zmiana położenia obiektów) na potrzeby makiet projektowych
Dostosowuj obrazy krajobrazów lub mody, przeciągając kontury, na przykład zmieniając kształty gór lub dopasowanie odzieży
Przyszłość interaktywnego montażu DragGAN
DragGAN zapoczątkował szybkie prace następcze, wprowadzając kontrolę opartą na przeciąganiu do modeli dyfuzyjnych (takich jak DragDiffusion i FreeDrag), które radzą sobie z prawdziwymi zdjęciami i dowolną treścią skuteczniej niż same GAN. Można się spodziewać, że edycja przez przeciąganie stanie się standardowym narzędziem w oprogramowaniu kreatywnym, połączona z kontrolą tekstu i regionu oraz rozszerzona na wideo i 3D, dzięki czemu użytkownicy będą mogli ustawiać obiekty w klatkach lub interaktywnie zmieniać kształty siatek, zachowując jednocześnie fotorealizm.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Szybkość i skala. Wizualna sztuczna inteligencja może automatyzować zadania inspekcji, wykrywania i znakowania na dużą skalę.
- Buduj wybory. Zespoły kreatywne mogą szybciej prototypować koncepcje przy mniejszej liczbie ręcznych poprawek.
- Zespół i przepływ pracy. Operacje mogą wykorzystywać sygnały obrazu i wideo, które wcześniej były trudne do przetworzenia.
Uważaj na
- Prawa do wizerunku i zgoda mogą stanowić ryzyko prawne, jeśli pochodzenie jest niejasne.
- Wydajność modelu może się różnić w zależności od oświetlenia, demografii i środowiska.
- Fałszywie pozytywne wyniki mogą pozostać niezauważone, chyba że monitorowane są progi ufności.
Kolejne kroki
- Zdefiniuj kryteria akceptacji dotyczące kosztów precyzji, wycofania i błędów.
- Przetestuj na danych odpowiadających rzeczywistym warunkom produkcyjnym.
- Dodaj weryfikację manualną, aby prognozy były mało pewne lub miały duży wpływ.
- Śledź dryf modelu i przeprowadzaj ponowną weryfikację po zmianie kamery lub zbioru danych.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the DragGAN Interactive Editing quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
What is DragGAN Interactive Editing?
DragGAN pozwala edytować obraz dosłownie przeciągając punkty: złap miejsce i przeciągnij je do celu, a obraz realistycznie się deformuje, zmieniając pozę, kształt lub wyraz. Ma to znaczenie, ponieważ umożliwia precyzyjną, intuicyjną manipulację obrazem bez suwaków, masek i podpowiedzi tekstowych.
Jak użytkownik może edytować obraz w DragGAN?
Edycja DragGAN polega na umieszczaniu punktów uchwytów i przeciąganiu ich do docelowych lokalizacji, odpowiednio deformując obraz.
Jakie są dwa naprzemienne podstawowe kroki DragGAN?
DragGAN naprzemiennie nadzoruje ruch (przesuwa obiekty w kierunku celów) i śledzi punkt (przemieszczanie uchwytów), powtarzając aż do zakończenia.
Dlaczego zmiany DragGAN wyglądają realistycznie, a nie rozmazane?
Ponieważ manipulacja odbywa się w ukrytej przestrzeni wstępnie wyszkolonej sieci GAN, wyniki pozostają w postaci różnorodnych realistycznych obrazów.
Co kontroluje opcjonalna maska w DragGAN?
Maska pozwala użytkownikom ograniczyć edycję do wybranych regionów, dzięki czemu reszta obrazu pozostaje niezmieniona.
W jakim miejscu w 2023 r. zaprezentowano zwłaszcza DragGAN?
DragGAN został opublikowany na SIGGRAPH 2023, wiodącej konferencji poświęconej grafice komputerowej.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat