Obrazowanie autoregresyjne Parti Pathways
Parti (Pathways Autoregressive Text-to-Image) generuje obrazy w taki sam sposób, w jaki modele językowe piszą zdania: jeden znacznik obrazu na raz, przewidując następny ze wszystkich, które pojawiły się wcześniej.
Przegląd
Ma to znaczenie, ponieważ pokazało, że proste skalowanie modelu sekwencji może dać uderzająco szczegółowe, szybkie i wierne obrazy.
Głębokie nurkowanie
Parti traktuje generowanie obrazu jako problem translacji sekwencji do sekwencji, podobnie jak tłumaczenie maszynowe. Tokenizator ViT-VQGAN najpierw koduje obraz w sekwencję odrębnych tokenów zaczerpniętych z wyuczonego słownika. Koder Transformera odczytuje zachętę tekstową, a dekoder Transformera następnie generuje tokeny obrazu w sposób autoregresyjny, każdy uwarunkowany tekstem i wcześniej wyemitowanymi tokenami. Po wyprodukowaniu wszystkich tokenów dekoder tokenizatora rekonstruuje piksele. Google skalował Parti od 350 milionów do 20 miliardów parametrów, a jakość obrazu i wyrównanie tekstu stale poprawiały się wraz z rozmiarem. Model 20B obsługiwał długie podpowiedzi dotyczące kompozycji, renderował czytelny tekst i szanował drobne szczegóły. Parti wprowadziło także test porównawczy PartiPrompts, zestaw ponad 1600 trudnych podpowiedzi obejmujących wiele kategorii i poziomów trudności.
Wgląd techniczny
Cechą definiującą jest czysta autoregresja na dyskretnych tokenach wizualnych: model rozkłada obraz na czynniki jako iloczyn warunkowych prawdopodobieństw następnego tokena, co jest identyczne w duchu generowania tekstu w stylu GPT. Jednoczy to wizję i język w ramach jednego przepisu szkoleniowego i pozwala mu odziedziczyć dziesięciolecia sztuczek modelowania sekwencji. Kosztem jest dekodowanie sekwencyjne, ponieważ tokeny muszą być tworzone w kolejności, co sprawia, że generowanie jest wolniejsze niż w przypadku podejść równoległych, ale skaluje się w przewidywalny sposób i bezpośrednio korzysta z większych modeli.
Wpływ strategiczny
Szybkość i skala
Wizualna sztuczna inteligencja może automatyzować zadania inspekcji, wykrywania i znakowania na dużą skalę.
Buduj wybory
Zespoły kreatywne mogą szybciej prototypować koncepcje przy mniejszej liczbie ręcznych poprawek.
Zespół i przepływ pracy
Operacje mogą wykorzystywać sygnały obrazu i wideo, które wcześniej były trudne do przetworzenia.
Przyszłość obrazowania autoregresyjnego Parti Pathways
Obrazowanie autoregresyjne przeżywa renesans, ponieważ ten sam szkielet może modelować tekst, obrazy, dźwięk i wideo jako jeden strumień tokenów, umożliwiając prawdziwie ujednolicone modele multimodalne. Badania eliminują jego główną słabość, czyli powolne próbkowanie sekwencyjne, dekodowanie spekulatywne, przewidywanie tokenów równoległych i lepsze tokenizatory. Spodziewaj się rdzeni autoregresyjnych w asystentach ogólnych, które przeplatają czytanie, rozumowanie i generowanie obrazów, a także przekonaj się, że prawa skalowania jeszcze bardziej zwiększają dokładność kompozycji i niezawodne renderowanie tekstu w obrazie.
Implementacja w świecie rzeczywistym
Renderowanie złożonych scen składających się z wielu obiektów na podstawie długich podpowiedzi opisowych, takich jak określony układ zwierząt, obiektów i tła.
Generowanie obrazów zawierających czytelne zapisane słowa lub znaki, w przypadku których porządkowanie autoregresyjne pomaga w poprawnej pisowni tekstu.
Benchmarking i testy warunków skrajnych systemów zamiany tekstu na obraz przy użyciu pakietu PartiPrompts w różnych kategoriach, takich jak wiedza o świecie i koncepcje abstrakcyjne.
Tworzenie szczegółowych ilustracji do podpowiedzi wymagających precyzyjnego liczenia i powiązań przestrzennych pomiędzy wieloma elementami.
Zagrożenia i poręcze
Prawa do wizerunku i zgoda mogą stanowić ryzyko prawne, jeśli pochodzenie jest niejasne.
Wydajność modelu może się różnić w zależności od oświetlenia, demografii i środowiska.
Fałszywie pozytywne wyniki mogą pozostać niezauważone, chyba że monitorowane są progi ufności.
Plan wdrożenia
Zdefiniuj kryteria akceptacji dotyczące kosztów precyzji, wycofania i błędów.
Przetestuj na danych odpowiadających rzeczywistym warunkom produkcyjnym.
Dodaj weryfikację manualną, aby prognozy były mało pewne lub miały duży wpływ.
Śledź dryf modelu i przeprowadzaj ponowną weryfikację po zmianie kamery lub zbioru danych.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Parti Pathways Autoregressive Imaging quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Generowanie obrazu autoregresyjnego
Często zadawane pytania
Co to jest obrazowanie autoregresyjne Parti Pathways?
Parti (Pathways Autoregressive Text-to-Image) generuje obrazy w taki sam sposób, w jaki modele językowe piszą zdania: jeden znacznik obrazu na raz, przewidując następny ze wszystkich, które pojawiły się wcześniej. Ma to znaczenie, ponieważ pokazało, że proste skalowanie modelu sekwencji może dać uderzająco szczegółowe, szybkie i wierne obrazy.
W jaki sposób Parti generuje obraz?
Parti jest autoregresywna: generuje tokeny obrazowe sekwencyjnie, każdy uwarunkowany tekstem i wcześniej wygenerowanymi tokenami.
Jakiego ogólnego kadrowania używa Parti w zadaniu zamiany tekstu na obraz?
Parti traktuje generowanie jak tłumaczenie maszynowe: koder odczytuje tekst, a dekoder emituje tokeny obrazu, co jest klasyczną konfiguracją sekwencja po sekwencji.
Co pokazało skalowanie Partiego do 20 miliardów parametrów?
W miarę wzrostu parametrów Parti z 350M do 20B poprawiła się zarówno wierność, jak i wierność szybkości, w tym lepsze podpowiedzi kompozycyjne i czytelny tekst.
Co przekształca obraz w dyskretne tokeny dla Parti?
Parti używa ViT-VQGAN do kodowania obrazów w sekwencje dyskretnych tokenów, które dekoder Transformera następnie uczy się przewidywać.
Jaka jest główna wada dekodowania autoregresyjnego Partiego?
Ponieważ każdy token zależy od poprzedniego, generowanie jest sekwencyjne i wolniejsze niż metody równoległe, chociaż skaluje się w przewidywalny sposób.