Transformatory dyfuzyjne
Transformatory dyfuzyjne (DiT) zamieniają splotową sieć U-Net w sercu generatorów obrazu i wideo na szkielet transformatora.
Przegląd
This architecture powers leading systems like Stable Diffusion 3 and OpenAI's Sora, and it scales remarkably well as you add compute.
Głębokie nurkowanie
Modele dyfuzyjne generują obrazy, zaczynając od czystego szumu i iteracyjnie odszumiając go w spójny obraz. Przez lata siecią zajmującą się odszumianiem była sieć U-Net o architekturze splotowej. Transformator dyfuzyjny, wprowadzony przez Peeblesa i Xie w 2022 roku, zastępuje U-Net transformatorem. Obraz jest najpierw kompresowany w ukrytą przestrzeń, dzielony na małe fragmenty, a każdy fragment staje się symbolem, podobnie jak słowa w modelu językowym. Następnie Transformator przetwarza te żetony z uwagą na każdym etapie odszumiania. Kluczowym odkryciem było to, że wydajność DiT poprawia się w sposób przewidywalny w miarę zwiększania rozmiaru modelu i zmniejszania rozmiaru fragmentu, zgodnie z zasadami czystego skalowania. Ta skalowalność jest powodem, dla którego systemy przetwarzania tekstu na wideo i wysokiej klasy systemy przetwarzania tekstu na obraz zostały w dużej mierze przeniesione do szkieletów Transformer.
Wgląd techniczny
Podstawową innowacją jest sposób, w jaki DiT wprowadzają warunkowanie, takie jak krok czasowy i monit tekstowy. Zamiast prostego łączenia wykorzystują normalizację warstwy adaptacyjnej (adaLN), w której sieć przewiduje parametry skali i przesunięcia dla warstw normalizacyjnych na podstawie sygnału kondycjonującego. Wariant adaLN-zero inicjuje je, więc każdy blok zaczyna się jako funkcja tożsamości, stabilizując trening. Poprawki są spłaszczane w żetony, przetwarzane z własną uwagą przez standardowe bloki Transformatorów, a następnie ponownie składane i dekodowane z powrotem w piksele.
Wpływ strategiczny
Szybkość i skala
Wizualna sztuczna inteligencja może automatyzować zadania inspekcji, wykrywania i znakowania na dużą skalę.
Buduj wybory
Zespoły kreatywne mogą szybciej prototypować koncepcje przy mniejszej liczbie ręcznych poprawek.
Zespół i przepływ pracy
Operacje mogą wykorzystywać sygnały obrazu i wideo, które wcześniej były trudne do przetworzenia.
Przyszłość transformatorów dyfuzyjnych
Transformatory dyfuzyjne stają się domyślnym szkieletem mediów generatywnych. Ich konstrukcja oparta na tokenach sprawia, że w naturalny sposób łączą obrazy, wideo, a nawet generowanie multimodalne w ramach jednej skalowalnej architektury. Badania zmierzają w kierunku dłuższego wideo, wyższej rozdzielczości i efektywniejszej uwagi, aby okiełznać kwadratowy koszt wielu tokenów. Spodziewaj się zbieżności między modelami językowymi i wizyjnymi, gdzie podobne receptury skalowania Transformatora i infrastruktura służą obu, przyspieszając postęp w modelach świata i interaktywnym wideo.
Implementacja w świecie rzeczywistym
OpenAI Sora wykorzystuje szkielet Transformera w łatkach czasoprzestrzeni do generowania minutowych filmów o wysokiej jakości na podstawie komunikatów tekstowych.
Stable Diffusion 3 wykorzystuje multimodalny transformator dyfuzyjny (MMDiT), aby lepiej dopasować wygenerowane obrazy do szczegółowych opisów tekstowych.
Badacze skalują DiT do miliardów parametrów i obserwują przewidywalną poprawę jakości obrazu, co wpływa na decyzje dotyczące budżetu obliczeniowego.
Studio używa modelu opartego na DiT do wydłużania krótkich klipów, traktując dodatkowe klatki wideo jako dodatkowe tokeny łatki do usuwania szumów.
Zagrożenia i poręcze
Prawa do wizerunku i zgoda mogą stanowić ryzyko prawne, jeśli pochodzenie jest niejasne.
Wydajność modelu może się różnić w zależności od oświetlenia, demografii i środowiska.
Fałszywie pozytywne wyniki mogą pozostać niezauważone, chyba że monitorowane są progi ufności.
Plan wdrożenia
Zdefiniuj kryteria akceptacji dotyczące kosztów precyzji, wycofania i błędów.
Przetestuj na danych odpowiadających rzeczywistym warunkom produkcyjnym.
Dodaj weryfikację manualną, aby prognozy były mało pewne lub miały duży wpływ.
Śledź dryf modelu i przeprowadzaj ponowną weryfikację po zmianie kamery lub zbioru danych.
Odkrywaj dalej
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Diffusion Transformers quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Następny poradnik
Przestrzenne sieci transformatorowe
Często zadawane pytania
What is Diffusion Transformers?
Transformatory dyfuzyjne (DiT) zamieniają splotową sieć U-Net w sercu generatorów obrazu i wideo na szkielet transformatora. Ta architektura obsługuje wiodące systemy, takie jak Stable Diffusion 3 i Sora firmy OpenAI, a ponadto skaluje się wyjątkowo dobrze w miarę dodawania mocy obliczeniowych.
Jaki element zastępuje transformator dyfuzyjny w porównaniu z tradycyjnymi modelami dyfuzyjnymi?
DiT zastępują sieć U-Net, sieć splotową przeprowadzającą odszumianie, szkieletem transformatora.
W jaki sposób DiT zmienia obraz w coś, co może przetworzyć Transformer?
Ukryty obraz zostaje podzielony na małe plamy, a każda plama staje się symbolem, analogicznym do słów w modelu językowym.
Co oryginalny artykuł DiT znalazł na temat skalowania?
Jakość DiT poprawia się w przejrzysty i przewidywalny sposób w miarę zwiększania mocy obliczeniowej modelu i używania mniejszych fragmentów, zgodnie z prawami skalowania.
W jaki sposób DiT zazwyczaj wprowadzają uwarunkowania, takie jak krok czasowy i podpowiedź tekstowa?
DiT wykorzystują normalizację warstw adaptacyjnych do przewidywania parametrów skali i przesunięcia dla warstw normalizacyjnych na podstawie sygnału kondycjonującego.
Co daje inicjalizacja „adaLN-zero”?
adaLN-zero inicjuje modulację, więc każdy blok początkowo działa jako tożsamość, co stabilizuje i poprawia trening.