Edycja między uwagami od monitu do monitu
Funkcja Prompt-to-Prompt edytuje wygenerowany obraz, modyfikując monit tekstowy przy ponownym użyciu wewnętrznych map uwagi modelu, więc zmiana jednego słowa powoduje zamianę tego elementu, pozostawiając resztę sceny nienaruszoną.
Przegląd
It is editing through words, not pixels.
Głębokie nurkowanie
Prompt-to-Prompt (Hertz i in., 2022) to niewymagająca szkolenia technika edycji opartej na tekście w modelach dyfuzyjnych. Kluczowym spostrzeżeniem jest to, że mapy krzyżowej uwagi, które mówią modelowi, na które obszary obrazu powinno wpływać każde słowo, kodują układ przestrzenny sceny. Kiedy ponownie wygenerujesz obraz z nieco zmodyfikowanym podpowiedzią, metoda wstawi do nowego przebiegu mapy uwagi z oryginalnego podpowiedzi. Zastąpienie słowa, powiedzmy „rower” słowem „motocykl”, powoduje zamianę tego obiektu, zachowując jednocześnie kompozycję i tło. Dodanie słowa zwraca uwagę tylko na niezmienione żetony, więc nowy atrybut pojawia się bez ponownego przetasowania wszystkiego. Możesz także zmienić wagę żetonu, aby wzmocnić lub osłabić jego działanie. Ponieważ nie wymaga dostrajania ani masek, stał się podstawowym elementem wielu późniejszych metod edycji, w tym generowania danych w programie InstructPix2Pix.
Wgląd techniczny
Podczas odszumiania funkcja krzyżowej uwagi oblicza dla każdego tokena przestrzenną mapę jego lokalizacji na obrazie. Funkcja Prompt-to-Prompt kopiuje te mapy z oryginalnej generacji do edytowanej dla udostępnionych tokenów. W przypadku zamiany słów mapuje uwagę pomiędzy odpowiednimi tokenami; w przypadku dodanych słów zachowuje stare mapy i pozwala jedynie nowym tokenom zwrócić na siebie uwagę; ponowne ważenie po prostu skaluje wartość uwagi tokena, wzmacniając lub wyciszając jego wpływ wizualny.
Wpływ strategiczny
Szybkość i skala
Wizualna sztuczna inteligencja może automatyzować zadania inspekcji, wykrywania i znakowania na dużą skalę.
Buduj wybory
Zespoły kreatywne mogą szybciej prototypować koncepcje przy mniejszej liczbie ręcznych poprawek.
Zespół i przepływ pracy
Operacje mogą wykorzystywać sygnały obrazu i wideo, które wcześniej były trudne do przetworzenia.
Przyszłość edycji typu „od monitu do monitu”
Manipulacja krzyżową uwagą stanowi obecnie podstawę całej rodziny narzędzi do kontrolowanego generowania, a pomysły obejmują kontrolę uwagi w nowszych architekturach i rozpowszechnianie wideo w celu uzyskania spójnych czasowo edycji. Oczekuj ściślejszej integracji z edycją obrazu rzeczywistego poprzez inwersję, bardziej niezawodnej obsługi dużych zmian strukturalnych i połączenia z modelami instrukcji, dzięki czemu sztuczki skupiające uwagę będą działać niewidocznie w prostym interfejsie w języku naturalnym.
Implementacja w świecie rzeczywistym
Projektant zmienia „czerwony samochód na ulicy” na „niebieski samochód na ulicy” i zachowuje dokładnie ten sam układ sceny.
Ilustrator zmienia wagę słowa „śnieżny”, aby w różnych odmianach krajobraz stawał się coraz bardziej zimowy.
Narrator zamienia „lew” na „tygrys” w podpowiedzi, aby zachować identyczną pozę i tło dla karty postaci.
Badacz używa go do generowania sparowanych obrazów przed i po jako danych szkoleniowych dla edytora wykonującego instrukcje.
Zagrożenia i poręcze
Prawa do wizerunku i zgoda mogą stanowić ryzyko prawne, jeśli pochodzenie jest niejasne.
Wydajność modelu może się różnić w zależności od oświetlenia, demografii i środowiska.
Fałszywie pozytywne wyniki mogą pozostać niezauważone, chyba że monitorowane są progi ufności.
Plan wdrożenia
Zdefiniuj kryteria akceptacji dotyczące kosztów precyzji, wycofania i błędów.
Przetestuj na danych odpowiadających rzeczywistym warunkom produkcyjnym.
Dodaj weryfikację manualną, aby prognozy były mało pewne lub miały duży wpływ.
Śledź dryf modelu i przeprowadzaj ponowną weryfikację po zmianie kamery lub zbioru danych.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Prompt-to-Prompt Cross-Attention Editing quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Uwaga krzyżowa
Często zadawane pytania
What is Prompt-to-Prompt Cross-Attention Editing?
Funkcja Prompt-to-Prompt edytuje wygenerowany obraz, modyfikując monit tekstowy przy ponownym użyciu wewnętrznych map uwagi modelu, więc zmiana jednego słowa powoduje zamianę tego elementu, pozostawiając resztę sceny nienaruszoną. Edycja odbywa się za pomocą słów, a nie pikseli.
Jakie informacje wewnętrzne są ponownie wykorzystywane przez funkcję Prompt-to-Prompt w celu zachowania sceny?
Mapy wzajemnego zainteresowania kodują miejsca, w których każde słowo wpływa na obraz, więc ponowne ich użycie pozwala zachować spójność układu podczas edycji.
Czy funkcja Prompt to Prompt wymaga dostrojenia modelu?
Manipuluje uwagą w momencie wnioskowania i nie wymaga dodatkowego szkolenia.
Co daje ponowne ważenie uwagi tokena?
Skalowanie wartości uwagi tokena intensyfikuje lub wycisza siłę tej koncepcji.
Dlaczego „Podpowiedź do podpowiedzi” jest uważana za podstawową technikę?
Jej niewymagająca szkolenia manipulacja uwagą stała się elementem konstrukcyjnym ponownie wykorzystanym w późniejszych badaniach redakcyjnych.