Диффузионные трансформаторы
Диффузионные трансформаторы (DiT) заменяют сверточную сеть U-Net, лежащую в основе генераторов изображений и видео, на магистраль Transformer.
Обзор
Эта архитектура поддерживает ведущие системы, такие как Stable Diffusion 3 и OpenAI Sora, и масштабируется удивительно хорошо при добавлении вычислительной мощности.
Глубокое погружение
Модели диффузии генерируют изображения, начиная с чистого шума и итеративно удаляя его в связное изображение. В течение многих лет сеть, выполнявшая такое шумоподавление, представляла собой U-Net со сверточной архитектурой. Диффузионный трансформатор, представленный Пиблсом и Се в 2022 году, заменяет U-Net трансформатором. Изображение сначала сжимается в скрытое пространство, разбивается на небольшие фрагменты, и каждый фрагмент становится токеном, подобно словам в языковой модели. Затем преобразователь самостоятельно обрабатывает эти токены на каждом этапе шумоподавления. Ключевой вывод заключался в том, что производительность DiT предсказуемо улучшается по мере увеличения размера модели и уменьшения размера патча в соответствии с законами чистого масштабирования. Именно эта масштабируемость является причиной того, что системы преобразования текста в видео и высококачественные системы преобразования текста в изображение в значительной степени перешли на магистральные сети Transformer.
Техническая информация
Основное нововведение заключается в том, как DiT вводит такие условия, как временной интервал и текстовую подсказку. Вместо простой конкатенации они используют нормализацию адаптивного уровня (adaLN), где сеть прогнозирует параметры масштаба и сдвига для слоев нормализации на основе кондиционирующего сигнала. Вариант adaLN-zero инициализирует их, поэтому каждый блок запускается как идентификационная функция, стабилизируя обучение. Патчи преобразуются в токены, самостоятельно обрабатываются стандартными блоками Transformer, затем снова собираются и декодируются обратно в пиксели.
Стратегическое воздействие
Скорость и масштаб
Визуальный ИИ может автоматизировать задачи проверки, обнаружения и маркировки в любом масштабе.
Выбор сборки
Творческие группы могут быстрее создавать прототипы концепций с меньшим количеством доработок вручную.
Команда и рабочий процесс
Операции могут использовать изображения и видеосигналы, которые раньше было трудно обрабатывать.
Будущее диффузионных трансформаторов
Диффузионные трансформаторы становятся основой по умолчанию для генеративных сред. Их дизайн на основе токенов делает их естественными для объединения изображений, видео и даже мультимодальной генерации в одной масштабируемой архитектуре. Исследования направлены на более длинное видео, более высокое разрешение и более эффективное внимание, чтобы снизить квадратичную стоимость многих токенов. Ожидайте конвергенции между моделями языка и видения, где схожие рецепты масштабирования и инфраструктура Transformer служат обоим, ускоряя прогресс в моделях мира и интерактивном видео.
Реальная реализация
Sora OpenAI использует магистраль Transformer поверх пространственно-временных патчей для создания минутных высококачественных видеороликов из текстовых подсказок.
В Stable Diffusion 3 используется мультимодальный диффузионный преобразователь (MMDiT) для лучшего согласования сгенерированных изображений с подробными текстовыми описаниями.
Исследователи масштабируют DiT до миллиардов параметров и наблюдают предсказуемое улучшение качества изображения, что помогает принимать решения по бюджету вычислений.
Студия использует модель на основе DiT для расширения коротких клипов, рассматривая дополнительные видеокадры как дополнительные токены исправлений для шумоподавления.
Риски и ограничения
Права на изображение и согласие могут стать юридическими рисками, если происхождение неясно.
Производительность модели может варьироваться в зависимости от освещения, демографии и окружающей среды.
Ложноположительные результаты могут остаться незамеченными, если не контролировать пороговые значения достоверности.
Дорожная карта реализации
Определите критерии приемки точности, стоимости отзыва и ошибок.
Тестируйте с данными, которые соответствуют реальным производственным условиям.
Добавьте человеческую проверку для прогнозов с низкой достоверностью или высокой эффективностью.
Отслеживайте дрейф модели и выполняйте ее повторную проверку после изменений камеры или набора данных.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Diffusion Transformers quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Пространственные трансформаторные сети
Часто задаваемые вопросы
Что такое диффузионные трансформаторы?
Диффузионные трансформаторы (DiT) заменяют сверточную сеть U-Net, лежащую в основе генераторов изображений и видео, на магистраль Transformer. Эта архитектура используется в ведущих системах, таких как Stable Diffusion 3 и Sora из OpenAI, и прекрасно масштабируется по мере добавления вычислительных ресурсов.
Какой компонент заменяет диффузионный трансформатор по сравнению с традиционными диффузионными моделями?
DiT заменяют U-Net, сверточную сеть, выполнявшую шумоподавление, на магистраль Transformer.
Как DiT превращает изображение в нечто, что может обработать Трансформер?
Скрытое изображение делится на небольшие участки, и каждый участок становится токеном, аналогом слов в языковой модели.
Что было найдено в оригинальной статье DiT о масштабировании?
Качество DiT улучшается понятным и предсказуемым образом по мере увеличения объема вычислений модели и использования меньших фрагментов в соответствии с законами масштабирования.
Как DiT обычно вводят условия, такие как временной шаг и текстовая подсказка?
DiT используют адаптивную нормализацию слоев для прогнозирования параметров масштаба и сдвига для слоев нормализации на основе кондиционирующего сигнала.
Что дает инициализация «adaLN-zero»?
adaLN-zero инициализирует модуляцию, поэтому каждый блок изначально действует как идентификатор, что стабилизирует и улучшает обучение.