NastępnyNastępny poradnik
Suwaki LoRA do edycji obrazu
Wizualna sztuczna inteligencja
PRZEWODNIK Wizualnej AI
Konwersacyjna edycja obrazu za pomocą modeli multimodalnych
Konwersacyjna edycja obrazu oznacza zmianę obrazu za pomocą serii prostych poleceń czatu, takich jak „wprowadź burzę na niebie”, a następnie „teraz usuń samochód”, przy użyciu modelu multimodalnego, który rozumie zarówno obraz, jak i rozmowę.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~3 min
Na tej stronie4 minuty czytania
Przegląd
Ma to znaczenie, ponieważ zastępuje maski, warstwy i szybką inżynierię codziennymi instrukcjami. Działa to jednak inaczej niż klasyczne malowanie i może cicho zmieniać części obrazu, których nigdy nie prosiłeś o dotknięcie.
Głębokie nurkowanie
Istnieją dwa szerokie sposoby, w jakie sztuczna inteligencja edytuje obrazy. Klasyczne malowanie dyfuzyjne zaczyna się od maski. Malujesz obszar, który chcesz zmienić, a model regeneruje tylko ten obszar, aby dopasować go do otoczenia i podpowiedzi. Piksele poza maską pozostają nietknięte, ale trzeba wiedzieć i dokładnie zaznaczyć, gdzie idzie zmiana. Modele badawcze, takie jak InstructPix2Pix, opublikowane w 2022 r., wykazały, że obraz można edytować na podstawie samej pisemnej instrukcji, bez maski. Natywne modele multimodalne idą dalej. Dzięki generowaniu obrazu GPT-4o w ChatGPT, wprowadzonemu na rynek w marcu 2025 r., oraz obrazowi Flash Gemini 2.5 Gemini 2.5, wydanemu w sierpniu 2025 r. i nazwanemu Nano Banana, jeden model odczytuje przesłany obraz, tekst i wcześniejszą rozmowę, a następnie tworzy nowy obraz. Ponieważ widzi całą rozmowę, może reagować na prośby takie jak „wróć do koloru kurtki sprzed dwóch edycji” lub „zachowaj wszystko, tylko dodaj deszcz”. Może także decydować o tym, co jest na zdjęciu, na przykład o tym, który obiekt to samochód lub skąd pochodzi światło. Wadą jest to, że modele te zwykle generują zupełnie nowy obraz, zamiast łatać piksele. Części, o których nie wspomniałeś, mogą nadal nieznacznie się przesunąć: twarz może stracić pewne podobieństwo, mały tekst może się zmienić, tekstury mogą zmięknąć. Na wielu zakrętach te małe zmiany sumują się, co często nazywa się dryfem. Nowsze modele zachowują szczegóły znacznie lepiej niż wczesne wersje, ale zachowanie jest czymś, czego model się nauczył, a nie gwarancją. Powszechne są trzy błędne przekonania. Model czatu nie edytuje oryginalnego pliku ani jego warstw. Nie pamięta doskonale wcześniejszych wersji. Wynik może nie odpowiadać oryginalnej rozdzielczości. Aby sprawdzić pochodzenie, Google dodaje niewidoczny znak wodny SynthID do obrazów ze swoich modeli, a OpenAI dołącza metadane C2PA do generowanych obrazów.
Implementacja w świecie rzeczywistym
Właściciel piekarni przesyła zdjęcie produktu do ChatGPT i prosi o gładkie białe tło, a następnie w następnej turze prosi o bardziej miękki cień, zachowując to samo ciasto.
Uczeń przesyła ręcznie narysowany diagram biologiczny do Gemini, prosi o czystą wersję cyfrową i po kolei powiększa etykiety i poprawia jeden błędnie napisany termin.
Sprzedawca prosi o ilustrowaną maskotkę w trzech różnych pozach, w każdej turze porównuje twarz i kolory i rozpoczyna nową rozmowę od najlepszej wersji, gdy postać zaczyna dryfować.
Retuszer, któremu zależy na zachowaniu każdego nietkniętego piksela, zamiast tego używa w edytorze obrazów malowania opartego na masce, ponieważ regenerowany jest tylko zamaskowany obszar.
Przyszłość konwersacyjnej edycji obrazów za pomocą modeli multimodalnych
Rozwój zmierza w stronę edycji, która łączy czat z precyzyjną kontrolą. Prawdopodobne funkcje obejmują wskazywanie lub zgrubne zaznaczanie obszaru konwersacji, utrzymywanie większej spójności tożsamości i tekstu na każdym kroku, obsługę wyższych rozdzielczości i zwracanie plików warstwowych pasujących do profesjonalnych przepływów pracy. Narzędzia do sprawdzania pochodzenia, takie jak znaki wodne i dane uwierzytelniające treści, prawdopodobnie będą się rozprzestrzeniać, chociaż można je usunąć. Istnieją również otwarte obawy. Łatwe, realistyczne edycje prawdziwych zdjęć ułatwiają przekonującą manipulację ludźmi i wydarzeniami, a platformy już ograniczają niektóre edycje z udziałem prawdziwych osób. To, jak dobrze modele równoważą przydatną edycję z niewłaściwym użyciem i jak niezawodnie zachowują szczegóły, zadecyduje, czy edycja na czacie zastąpi tradycyjne narzędzia, czy też będzie obok nich.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Szybkość i skala. Wizualna sztuczna inteligencja może automatyzować zadania inspekcji, wykrywania i znakowania na dużą skalę.
- Buduj wybory. Zespoły kreatywne mogą szybciej prototypować koncepcje przy mniejszej liczbie ręcznych poprawek.
- Zespół i przepływ pracy. Operacje mogą wykorzystywać sygnały obrazu i wideo, które wcześniej były trudne do przetworzenia.
Uważaj na
- Prawa do wizerunku i zgoda mogą stanowić ryzyko prawne, jeśli pochodzenie jest niejasne.
- Wydajność modelu może się różnić w zależności od oświetlenia, demografii i środowiska.
- Fałszywie pozytywne wyniki mogą pozostać niezauważone, chyba że monitorowane są progi ufności.
Kolejne kroki
- Zdefiniuj kryteria akceptacji dotyczące kosztów precyzji, wycofania i błędów.
- Przetestuj na danych odpowiadających rzeczywistym warunkom produkcyjnym.
- Dodaj weryfikację manualną, aby prognozy były mało pewne lub miały duży wpływ.
- Śledź dryf modelu i przeprowadzaj ponowną weryfikację po zmianie kamery lub zbioru danych.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the Conversational Image Editing with Multimodal Models quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Co to jest konwersacyjna edycja obrazu za pomocą modeli multimodalnych?
Konwersacyjna edycja obrazu oznacza zmianę obrazu za pomocą serii prostych poleceń czatu, takich jak „wprowadź burzę na niebie”, a następnie „teraz usuń samochód”, przy użyciu modelu multimodalnego, który rozumie zarówno obraz, jak i rozmowę. Ma to znaczenie, ponieważ zastępuje maski, warstwy i szybką inżynierię codziennymi instrukcjami. Działa to jednak inaczej niż klasyczne malowanie i może cicho zmieniać części obrazu, których nigdy nie prosiłeś o dotknięcie.
Jaka jest kluczowa różnica między klasycznym malowaniem dyfuzyjnym a natywną edycją czatu multimodalnego?
Inpainting pozostawia piksele poza maską nietknięte. Modele czatów multimodalnych zazwyczaj ponownie renderują cały obraz, w zależności od obrazu, tekstu i historii czatu.
Dlaczego szczegóły, o które nie prosiłeś, mogą się zmienić podczas edycji multimodalnej?
Nie ma maski zabezpieczającej niezmienione obszary. Model musi odtworzyć je na podstawie tego, czego się nauczył, więc twarze, tekst i tekstury mogą nieznacznie dryfować.
Na co pozwala dostęp do historii rozmów w modelu multimodalnym?
Ponieważ modelka widzi wcześniejsze wiadomości i obrazy, może zrozumieć odniesienia takie jak „kolor kurtki sprzed dwóch edycji”.
Który model badawczy z 2022 r. wykazał, że obrazy można edytować na podstawie pisemnej instrukcji bez maski?
InstructPix2Pix edytował obrazy wyłącznie na podstawie instrukcji tekstowych. SynthID i C2PA to technologie pochodzenia, a Nano Banana to pseudonim modelu Gemini 2025.
Jaki jest dobry krok, gdy dryf narasta w trakcie wielu tur rozmów?
Rozpoczęcie od mocnej wersji resetuje skumulowane drobne zmiany, a skierowanie modelu na oryginał daje mu czystsze odniesienie.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat