Przegląd
Funkcja Prompt-to-Prompt edytuje wygenerowany obraz, modyfikując monit tekstowy przy ponownym użyciu wewnętrznych map uwagi modelu, więc zmiana jednego słowa powoduje zamianę tego elementu, pozostawiając resztę sceny nienaruszoną. Edycja odbywa się za pomocą słów, a nie pikseli.
Edycja między uwagami od podpowiedzi do podpowiedzi należy do procesów przetwarzania obrazu komputerowego, które interpretują lub generują media wizualne na potrzeby analiz, operacji i kreatywności.
Głębokie nurkowanie
Prompt-to-Prompt (Hertz i in., 2022) to niewymagająca szkolenia technika edycji opartej na tekście w modelach dyfuzyjnych. Kluczowym spostrzeżeniem jest to, że mapy krzyżowej uwagi, które mówią modelowi, na które obszary obrazu powinno wpływać każde słowo, kodują układ przestrzenny sceny. Kiedy ponownie wygenerujesz obraz z nieco zmodyfikowanym podpowiedzią, metoda wstawi do nowego przebiegu mapy uwagi z oryginalnego podpowiedzi. Zastąpienie słowa, powiedzmy „rower” słowem „motocykl”, powoduje zamianę tego obiektu, zachowując jednocześnie kompozycję i tło. Dodanie słowa zwraca uwagę tylko na niezmienione żetony, więc nowy atrybut pojawia się bez ponownego przetasowania wszystkiego. Możesz także zmienić wagę żetonu, aby wzmocnić lub osłabić jego działanie. Ponieważ nie wymaga dostrajania ani masek, stał się podstawowym elementem wielu późniejszych metod edycji, w tym generowania danych w programie InstructPix2Pix.
Wgląd techniczny
Podczas odszumiania funkcja krzyżowej uwagi oblicza dla każdego tokena przestrzenną mapę jego lokalizacji na obrazie. Funkcja Prompt-to-Prompt kopiuje te mapy z oryginalnej generacji do edytowanej dla udostępnionych tokenów. W przypadku zamiany słów mapuje uwagę pomiędzy odpowiednimi tokenami; w przypadku dodanych słów zachowuje stare mapy i pozwala jedynie nowym tokenom zwrócić na siebie uwagę; ponowne ważenie po prostu skaluje wartość uwagi tokena, wzmacniając lub wyciszając jego wpływ wizualny.
Opanowanie edycji między uwagami od monitu do monitu
Funkcja Prompt-to-Prompt edytuje wygenerowany obraz, modyfikując monit tekstowy przy ponownym użyciu wewnętrznych map uwagi modelu, więc zmiana jednego słowa powoduje zamianę tego elementu, pozostawiając resztę sceny nienaruszoną. Edycja odbywa się za pomocą słów, a nie pikseli. Edycja między uwagami od podpowiedzi do podpowiedzi należy do procesów przetwarzania obrazu komputerowego, które interpretują lub generują media wizualne na potrzeby analiz, operacji i kreatywności. Aby zbudować głębokie zrozumienie, traktuj edycję między uwagami od podpowiedzi do podpowiedzi jako model operacyjny, a nie pojedynczą funkcję: zdefiniuj pożądane wyniki, wyjaśnij założenia i oddziel to, co system może zrobić niezawodnie, od tego, co wciąż wymaga fachowej oceny.
W praktyce silne zespoły korzystające z edycji między uwagami typu „od podpowiedzi do podpowiedzi” równoważą dokładność z realiami operacyjnymi, takimi jak jakość danych, zmienność oświetlenia i spójność etykiet. Dokumentują wyraźne kryteria sukcesu, testują realistyczne dane i przepływy pracy oraz wykonują iteracje w oparciu o zaobserwowane wzorce niepowodzeń, a nie jednorazowe zwycięstwa w testach porównawczych. W tym miejscu teoretyczne zrozumienie zamienia się w trwałe możliwości w zakresie produktu, polityki i operacji.
Wizualna sztuczna inteligencja może automatyzować zadania inspekcji, wykrywania i znakowania na dużą skalę. Jednocześnie prawa do wizerunku i zgoda mogą stanowić ryzyko prawne, jeśli pochodzenie jest niejasne. Najbardziej odporne podejście polega na połączeniu szybkości eksperymentowania z dyscypliną zarządzania: przeprowadzanie programów pilotażowych, gromadzenie dowodów, publikowanie dzienników decyzji i ciągłe aktualizowanie zabezpieczeń w miarę ewolucji zachowań modelu, oczekiwań użytkowników i wymagań prawnych.
Wpływ strategiczny
Wizualna sztuczna inteligencja może automatyzować zadania inspekcji, wykrywania i znakowania na dużą skalę.
Wizualna sztuczna inteligencja może automatyzować zadania inspekcji, wykrywania i znakowania na dużą skalę. W przypadku wdrożeń wysokiej jakości przekłada się to na mierzalne zasady działania, granice własności i rytuały cyklicznych przeglądów, dzięki czemu zespoły mogą zwiększać pewność siebie zamiast skalować niejednoznaczność.
Zespoły kreatywne mogą szybciej prototypować koncepcje przy mniejszej liczbie ręcznych poprawek.
Zespoły kreatywne mogą szybciej prototypować koncepcje przy mniejszej liczbie ręcznych poprawek. W przypadku wdrożeń wysokiej jakości przekłada się to na mierzalne zasady działania, granice własności i rytuały cyklicznych przeglądów, dzięki czemu zespoły mogą zwiększać pewność siebie zamiast skalować niejednoznaczność.
Operacje mogą wykorzystywać sygnały obrazu i wideo, które wcześniej były trudne do przetworzenia.
Operacje mogą wykorzystywać sygnały obrazu i wideo, które wcześniej były trudne do przetworzenia. W przypadku wdrożeń wysokiej jakości przekłada się to na mierzalne zasady działania, granice własności i rytuały cyklicznych przeglądów, dzięki czemu zespoły mogą zwiększać pewność siebie zamiast skalować niejednoznaczność.
Implementacja w świecie rzeczywistym
Projektant zmienia „czerwony samochód na ulicy” na „niebieski samochód na ulicy” i zachowuje dokładnie ten sam układ sceny.
Ilustrator zmienia wagę słowa „śnieżny”, aby w różnych odmianach krajobraz stawał się coraz bardziej zimowy.
Narrator zamienia „lew” na „tygrys” w podpowiedzi, aby zachować identyczną pozę i tło dla karty postaci.
Badacz używa go do generowania sparowanych obrazów przed i po jako danych szkoleniowych dla edytora wykonującego instrukcje.
Wzorce implementacyjne
Edycja krzyżowo-uważna od podpowiedzi do podpowiedzi w praktyce
Projektant zmienia „czerwony samochód na ulicy” na „niebieski samochód na ulicy” i zachowuje dokładnie ten sam układ sceny.
Projektant zmienia „czerwony samochód na ulicy” na „niebieski samochód na ulicy” i zachowuje dokładnie ten sam układ sceny. Zespoły zwykle uzyskują lepsze wyniki, gdy z góry zdefiniują progi jakości, utrzymają ludzką ścieżkę eskalacji w przypadku przypadków brzegowych i śledzą zarówno wzrost produktywności, jak i koszty błędów w czasie.
Edycja krzyżowo-uważna od podpowiedzi do podpowiedzi w praktyce
Ilustrator zmienia wagę słowa „śnieżny”, aby w różnych odmianach krajobraz stawał się coraz bardziej zimowy.
Ilustrator ponownie waży słowo „śnieżny”, aby w różnych odmianach krajobraz stawał się coraz bardziej zimowy. Zespoły zwykle uzyskują lepsze wyniki, gdy z góry zdefiniują progi jakości, utrzymują ludzką ścieżkę eskalacji w przypadku przypadków brzegowych i śledzą zarówno wzrost produktywności, jak i koszty błędów w czasie.
Edycja krzyżowo-uważna od podpowiedzi do podpowiedzi w praktyce
Narrator zamienia „lew” na „tygrys” w podpowiedzi, aby zachować identyczną pozę i tło dla karty postaci.
Narrator zamienia „lwa” na „tygrysa” w podpowiedzi, aby zachować identyczną pozę i tło na karcie postaci. Zespoły zwykle uzyskują lepsze wyniki, gdy z góry zdefiniują progi jakości, zachowają ludzką ścieżkę eskalacji w przypadku skrajnych przypadków i śledzą zarówno wzrost produktywności, jak i koszty błędów w czasie.
Edycja krzyżowo-uważna od podpowiedzi do podpowiedzi w praktyce
Badacz używa go do generowania sparowanych obrazów przed i po jako danych szkoleniowych dla edytora wykonującego instrukcje.
Badacz używa go do generowania sparowanych obrazów przed i po jako danych szkoleniowych dla edytora postępującego zgodnie z instrukcjami. Zespoły zwykle uzyskują lepsze wyniki, gdy z góry zdefiniują progi jakości, utrzymują ludzką ścieżkę eskalacji w przypadku przypadków brzegowych oraz śledzą zarówno wzrost produktywności, jak i koszty błędów w czasie.
Zagrożenia i poręcze
Prawa do wizerunku i zgoda mogą stanowić ryzyko prawne, jeśli pochodzenie jest niejasne.
Wydajność modelu może się różnić w zależności od oświetlenia, demografii i środowiska.
Fałszywie pozytywne wyniki mogą pozostać niezauważone, chyba że monitorowane są progi ufności.
Plan wdrożenia
Zdefiniuj kryteria akceptacji dotyczące kosztów precyzji, wycofania i błędów.
Zdefiniuj kryteria akceptacji dotyczące kosztów precyzji, wycofania i błędów. Traktuj każdy krok jako bramkę dowodową: jeśli kryteria nie są spełnione, wstrzymaj wdrażanie, uzupełnij lukę i dopiero wtedy zwiększ wykorzystanie.
Przetestuj na danych odpowiadających rzeczywistym warunkom produkcyjnym.
Przetestuj na danych odpowiadających rzeczywistym warunkom produkcyjnym. Traktuj każdy krok jako bramkę dowodową: jeśli kryteria nie są spełnione, wstrzymaj wdrażanie, uzupełnij lukę i dopiero wtedy zwiększ wykorzystanie.
Dodaj weryfikację manualną, aby prognozy były mało pewne lub miały duży wpływ.
Dodaj weryfikację manualną, aby prognozy były mało pewne lub miały duży wpływ. Traktuj każdy krok jako bramkę dowodową: jeśli kryteria nie są spełnione, wstrzymaj wdrażanie, uzupełnij lukę i dopiero wtedy zwiększ wykorzystanie.
Śledź dryf modelu i przeprowadzaj ponowną weryfikację po zmianie kamery lub zbioru danych.
Śledź dryf modelu i przeprowadzaj ponowną weryfikację po zmianie kamery lub zbioru danych. Traktuj każdy krok jako bramkę dowodową: jeśli kryteria nie są spełnione, wstrzymaj wdrażanie, uzupełnij lukę i dopiero wtedy zwiększ wykorzystanie.