ДалееСледующее руководство
Пространственные трансформаторные сети
Визуальный ИИ
Визуальное руководство по искусственному интеллекту
Диффузионные трансформаторы
Диффузионные трансформаторы (DiT) заменяют сверточную сеть U-Net, лежащую в основе генераторов изображений и видео, на магистраль Transformer.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
Эта архитектура поддерживает ведущие системы, такие как Stable Diffusion 3 и OpenAI Sora, и масштабируется удивительно хорошо при добавлении вычислительной мощности.
Глубокое погружение
Модели диффузии генерируют изображения, начиная с чистого шума и итеративно удаляя его в связное изображение. В течение многих лет сеть, выполнявшая такое шумоподавление, представляла собой U-Net со сверточной архитектурой. Диффузионный трансформатор, представленный Пиблсом и Се в 2022 году, заменяет U-Net трансформатором. Изображение сначала сжимается в скрытое пространство, разбивается на небольшие фрагменты, и каждый фрагмент становится токеном, подобно словам в языковой модели. Затем преобразователь самостоятельно обрабатывает эти токены на каждом этапе шумоподавления. Ключевой вывод заключался в том, что производительность DiT предсказуемо улучшается по мере увеличения размера модели и уменьшения размера патча в соответствии с законами чистого масштабирования. Именно эта масштабируемость является причиной того, что системы преобразования текста в видео и высококачественные системы преобразования текста в изображение в значительной степени перешли на магистральные сети Transformer.
Реальная реализация
Sora OpenAI использует магистраль Transformer поверх пространственно-временных патчей для создания минутных высококачественных видеороликов из текстовых подсказок.
В Stable Diffusion 3 используется мультимодальный диффузионный преобразователь (MMDiT) для лучшего согласования сгенерированных изображений с подробными текстовыми описаниями.
Исследователи масштабируют DiT до миллиардов параметров и наблюдают предсказуемое улучшение качества изображения, что помогает принимать решения по бюджету вычислений.
Студия использует модель на основе DiT для расширения коротких клипов, рассматривая дополнительные видеокадры как дополнительные токены исправлений для шумоподавления.
Будущее диффузионных трансформаторов
Диффузионные трансформаторы становятся основой по умолчанию для генеративных сред. Их дизайн на основе токенов делает их естественными для объединения изображений, видео и даже мультимодальной генерации в одной масштабируемой архитектуре. Исследования направлены на более длинное видео, более высокое разрешение и более эффективное внимание, чтобы снизить квадратичную стоимость многих токенов. Ожидайте конвергенции между моделями языка и видения, где схожие рецепты масштабирования и инфраструктура Transformer служат обоим, ускоряя прогресс в моделях мира и интерактивном видео.
Применение на практике
Почему это важно
- Скорость и масштаб. Визуальный ИИ может автоматизировать задачи проверки, обнаружения и маркировки в любом масштабе.
- Выбор сборки. Творческие группы могут быстрее создавать прототипы концепций с меньшим количеством доработок вручную.
- Команда и рабочий процесс. Операции могут использовать изображения и видеосигналы, которые раньше было трудно обрабатывать.
Следите за
- Права на изображение и согласие могут стать юридическими рисками, если происхождение неясно.
- Производительность модели может варьироваться в зависимости от освещения, демографии и окружающей среды.
- Ложноположительные результаты могут остаться незамеченными, если не контролировать пороговые значения достоверности.
Следующие шаги
- Определите критерии приемки точности, стоимости отзыва и ошибок.
- Тестируйте с данными, которые соответствуют реальным производственным условиям.
- Добавьте человеческую проверку для прогнозов с низкой достоверностью или высокой эффективностью.
- Отслеживайте дрейф модели и выполняйте ее повторную проверку после изменений камеры или набора данных.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the Diffusion Transformers quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
Что такое диффузионные трансформаторы?
Диффузионные трансформаторы (DiT) заменяют сверточную сеть U-Net, лежащую в основе генераторов изображений и видео, на магистраль Transformer. Эта архитектура используется в ведущих системах, таких как Stable Diffusion 3 и Sora из OpenAI, и прекрасно масштабируется по мере добавления вычислительных ресурсов.
Какой компонент заменяет диффузионный трансформатор по сравнению с традиционными диффузионными моделями?
DiT заменяют U-Net, сверточную сеть, выполнявшую шумоподавление, на магистраль Transformer.
Как DiT превращает изображение в нечто, что может обработать Трансформер?
Скрытое изображение делится на небольшие участки, и каждый участок становится токеном, аналогом слов в языковой модели.
Что было найдено в оригинальной статье DiT о масштабировании?
Качество DiT улучшается понятным и предсказуемым образом по мере увеличения объема вычислений модели и использования меньших фрагментов в соответствии с законами масштабирования.
Как DiT обычно вводят условия, такие как временной шаг и текстовая подсказка?
DiT используют адаптивную нормализацию слоев для прогнозирования параметров масштаба и сдвига для слоев нормализации на основе кондиционирующего сигнала.
Что дает инициализация «adaLN-zero»?
adaLN-zero инициализирует модуляцию, поэтому каждый блок изначально действует как идентификатор, что стабилизирует и улучшает обучение.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме