NastępnyNastępny poradnik
Przestrzenne sieci transformatorowe
Wizualna sztuczna inteligencja
PRZEWODNIK Wizualnej AI
Transformatory dyfuzyjne
Transformatory dyfuzyjne (DiT) zamieniają splotową sieć U-Net w sercu generatorów obrazu i wideo na szkielet transformatora.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~2 min
Na tej stronie2 minuty czytania
Przegląd
This architecture powers leading systems like Stable Diffusion 3 and OpenAI's Sora, and it scales remarkably well as you add compute.
Głębokie nurkowanie
Modele dyfuzyjne generują obrazy, zaczynając od czystego szumu i iteracyjnie odszumiając go w spójny obraz. Przez lata siecią zajmującą się odszumianiem była sieć U-Net o architekturze splotowej. Transformator dyfuzyjny, wprowadzony przez Peeblesa i Xie w 2022 roku, zastępuje U-Net transformatorem. Obraz jest najpierw kompresowany w ukrytą przestrzeń, dzielony na małe fragmenty, a każdy fragment staje się symbolem, podobnie jak słowa w modelu językowym. Następnie Transformator przetwarza te żetony z uwagą na każdym etapie odszumiania. Kluczowym odkryciem było to, że wydajność DiT poprawia się w sposób przewidywalny w miarę zwiększania rozmiaru modelu i zmniejszania rozmiaru fragmentu, zgodnie z zasadami czystego skalowania. Ta skalowalność jest powodem, dla którego systemy przetwarzania tekstu na wideo i wysokiej klasy systemy przetwarzania tekstu na obraz zostały w dużej mierze przeniesione do szkieletów Transformer.
Implementacja w świecie rzeczywistym
OpenAI Sora wykorzystuje szkielet Transformera w łatkach czasoprzestrzeni do generowania minutowych filmów o wysokiej jakości na podstawie komunikatów tekstowych.
Stable Diffusion 3 wykorzystuje multimodalny transformator dyfuzyjny (MMDiT), aby lepiej dopasować wygenerowane obrazy do szczegółowych opisów tekstowych.
Badacze skalują DiT do miliardów parametrów i obserwują przewidywalną poprawę jakości obrazu, co wpływa na decyzje dotyczące budżetu obliczeniowego.
Studio używa modelu opartego na DiT do wydłużania krótkich klipów, traktując dodatkowe klatki wideo jako dodatkowe tokeny łatki do usuwania szumów.
Przyszłość transformatorów dyfuzyjnych
Transformatory dyfuzyjne stają się domyślnym szkieletem mediów generatywnych. Ich konstrukcja oparta na tokenach sprawia, że w naturalny sposób łączą obrazy, wideo, a nawet generowanie multimodalne w ramach jednej skalowalnej architektury. Badania zmierzają w kierunku dłuższego wideo, wyższej rozdzielczości i efektywniejszej uwagi, aby okiełznać kwadratowy koszt wielu tokenów. Spodziewaj się zbieżności między modelami językowymi i wizyjnymi, gdzie podobne receptury skalowania Transformatora i infrastruktura służą obu, przyspieszając postęp w modelach świata i interaktywnym wideo.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Szybkość i skala. Wizualna sztuczna inteligencja może automatyzować zadania inspekcji, wykrywania i znakowania na dużą skalę.
- Buduj wybory. Zespoły kreatywne mogą szybciej prototypować koncepcje przy mniejszej liczbie ręcznych poprawek.
- Zespół i przepływ pracy. Operacje mogą wykorzystywać sygnały obrazu i wideo, które wcześniej były trudne do przetworzenia.
Uważaj na
- Prawa do wizerunku i zgoda mogą stanowić ryzyko prawne, jeśli pochodzenie jest niejasne.
- Wydajność modelu może się różnić w zależności od oświetlenia, demografii i środowiska.
- Fałszywie pozytywne wyniki mogą pozostać niezauważone, chyba że monitorowane są progi ufności.
Kolejne kroki
- Zdefiniuj kryteria akceptacji dotyczące kosztów precyzji, wycofania i błędów.
- Przetestuj na danych odpowiadających rzeczywistym warunkom produkcyjnym.
- Dodaj weryfikację manualną, aby prognozy były mało pewne lub miały duży wpływ.
- Śledź dryf modelu i przeprowadzaj ponowną weryfikację po zmianie kamery lub zbioru danych.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the Diffusion Transformers quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
What is Diffusion Transformers?
Transformatory dyfuzyjne (DiT) zamieniają splotową sieć U-Net w sercu generatorów obrazu i wideo na szkielet transformatora. Ta architektura obsługuje wiodące systemy, takie jak Stable Diffusion 3 i Sora firmy OpenAI, a ponadto skaluje się wyjątkowo dobrze w miarę dodawania mocy obliczeniowych.
Jaki element zastępuje transformator dyfuzyjny w porównaniu z tradycyjnymi modelami dyfuzyjnymi?
DiT zastępują sieć U-Net, sieć splotową przeprowadzającą odszumianie, szkieletem transformatora.
W jaki sposób DiT zmienia obraz w coś, co może przetworzyć Transformer?
Ukryty obraz zostaje podzielony na małe plamy, a każda plama staje się symbolem, analogicznym do słów w modelu językowym.
Co oryginalny artykuł DiT znalazł na temat skalowania?
Jakość DiT poprawia się w przejrzysty i przewidywalny sposób w miarę zwiększania mocy obliczeniowej modelu i używania mniejszych fragmentów, zgodnie z prawami skalowania.
W jaki sposób DiT zazwyczaj wprowadzają uwarunkowania, takie jak krok czasowy i podpowiedź tekstowa?
DiT wykorzystują normalizację warstw adaptacyjnych do przewidywania parametrów skali i przesunięcia dla warstw normalizacyjnych na podstawie sygnału kondycjonującego.
Co daje inicjalizacja „adaLN-zero”?
adaLN-zero inicjuje modulację, więc każdy blok początkowo działa jako tożsamość, co stabilizuje i poprawia trening.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat