СледваСледващо ръководство
Пространствени трансформаторни мрежи
Визуален AI
РЪКОВОДСТВО за визуален AI
Дифузионни трансформатори
Дифузионните трансформатори (DiTs) заменят конволюционната U-Net в сърцето на генераторите на изображения и видео за гръбнак на Transformer.
Чуйте това ръководствоAI-разказан · ~2 min
На тази страница2 минути четене
Преглед
Тази архитектура захранва водещи системи като Stable Diffusion 3 и Sora на OpenAI и се мащабира забележително добре, когато добавяте изчисления.
Дълбоко гмуркане
Дифузионните модели генерират изображения, като започват от чист шум и итеративно го обезшумяват в кохерентна картина. Години наред мрежата, извършваща това обезшумяване, беше U-Net, конволюционна архитектура. Дифузионният трансформатор, представен от Peebles и Xie през 2022 г., заменя U-Net с Transformer. Изображението първо се компресира в латентно пространство, разделя се на малки петна и всеки пластир се превръща в символ, подобно на думи в езиков модел. След това Transformer обработва тези токени със самовнимание при всяка стъпка на премахване на шума. Ключова констатация беше, че производителността на DiT се подобрява предсказуемо, когато увеличавате размера на модела и намалявате размера на корекцията, следвайки чистите закони за мащабиране. Тази мащабируемост е причината системите от текст към видео и текст към изображение от висок клас да мигрират до голяма степен към гръбнаците на Transformer.
Внедряване в реалния свят
Sora на OpenAI използва гръбнак на Transformer върху пространствено-времеви пачове, за да генерира дългоминутни видеоклипове с висока точност от текстови подкани.
Stable Diffusion 3 използва мултимодален дифузионен трансформатор (MMDiT) за по-добро подравняване на генерираните изображения с подробни текстови описания.
Изследователите мащабират DiT до милиарди параметри и наблюдават предсказуемо подобряване на качеството на изображението, насочвайки решенията за изчислителен бюджет.
Студио използва базиран на DiT модел за разширяване на къси клипове, като третира допълнителните видео кадри като допълнителни жетони за корекция за премахване на шума.
Бъдещето на дифузионните трансформатори
Дифузионните трансформатори се превръщат в гръбнак по подразбиране за генеративни медии. Техният базиран на токени дизайн ги прави естествени за обединяване на изображения, видео и дори мултимодално генериране в една мащабируема архитектура. Изследванията се стремят към по-дълго видео, по-висока резолюция и по-ефективно внимание, за да се укроти квадратичната цена на много токени. Очаквайте конвергенция между езикови и визуални модели, където подобни рецепти за мащабиране на Transformer и инфраструктура обслужват и двете, ускорявайки напредъка в световните модели и интерактивното видео.
Прилагайки го на практика
Защо има значение
- Скорост и мащаб. Visual AI може да автоматизира задачи за проверка, откриване и маркиране в мащаб.
- Избор на билдове. Творческите екипи могат да създават прототипи на концепции по-бързо с по-малко ръчни ревизии.
- Екип и работен процес. Операциите могат да използват изображения и видео сигнали, които преди са били трудни за обработка.
Внимавайте за
- Правата върху изображението и съгласието могат да се превърнат в правни рискове, ако произходът е неясен.
- Производителността на модела може да варира в зависимост от осветлението, демографските данни и средата.
- Фалшивите положителни резултати могат да останат незабелязани, освен ако не се наблюдават праговете на достоверност.
Следващи стъпки
- Определете критерии за приемане за прецизност, извикване и разходи за грешки.
- Тествайте с данни, които съответстват на реалните производствени условия.
- Добавете преглед от човек за прогнози с ниска степен на сигурност или с голямо въздействие.
- Проследявайте дрейфа на модела и проверявайте отново след промени в камерата или набора от данни.
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the Diffusion Transformers quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
Какво е дифузионни трансформатори?
Дифузионните трансформатори (DiTs) заменят конволюционната U-Net в сърцето на генераторите на изображения и видео за гръбнак на Transformer. Тази архитектура захранва водещи системи като Stable Diffusion 3 и OpenAI на Sora и се мащабира забележително добре, когато добавяте изчисления.
Какъв компонент заменя дифузионният трансформатор в сравнение с традиционните дифузионни модели?
DiTs заменят U-Net, конволюционната мрежа, която извършва обезшумяване, с гръбнака на Transformer.
Как DiT превръща изображение в нещо, което Transformer може да обработи?
Скритият образ е разделен на малки петна и всеки пластир се превръща в токен, аналогичен на думите в езиков модел.
Какво откри оригиналният DiT документ за мащабирането?
Качеството на DiT се подобрява по чист, предвидим начин, докато увеличавате изчисленията на модела и използвате по-малки кръпки, следвайки законите за мащабиране.
Как DiTs обикновено инжектират кондициониране като времева стъпка и текстова подкана?
DiTs използват нормализиране на адаптивния слой, за да предскажат мащаба и параметрите на изместване за нормализиращите слоеве от сигнала за кондициониране.
Какво постига инициализацията 'adaLN-zero'?
adaLN-zero инициализира модулацията, така че всеки блок първоначално действа като идентичност, което стабилизира и подобрява обучението.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема