Семплеры DDPM и DDIM
DDPM и DDIM — это два способа запустить процесс, обратный модели диффузии, шаг за шагом превращая случайный шум в изображение.
Обзор
DDPM is the original stochastic recipe; DDIM is a faster, deterministic shortcut that produces comparable images in far fewer steps.
Глубокое погружение
Диффузионная модель обучается путем постепенного добавления гауссова шума к изображениям, а затем обучения прогнозированию этого шума. Выборка меняет это положение. DDPM (вероятностные модели шумоподавления, диффузии, Хо и др., 2020) проходит через каждый уровень шума, добавляя на каждом этапе новую порцию случайного шума, поэтому обычно требуется от сотен до тысячи шагов. DDIM (неявные модели шумоподавления и диффузии, Song et al. 2021) повторно использует ту же самую обученную сеть, но следует немарковской детерминистической траектории. Отбросив введенную случайность, DDIM может пропустить множество временных шагов и при этом получить высококачественное изображение за 10–50 шагов. Поскольку DDIM является детерминированным, один и тот же начальный шум всегда дает одно и то же изображение, что обеспечивает плавную интерполяцию и воспроизводимость.
Техническая информация
Оба семплера используют сеть, которая предсказывает эпсилон шума, добавленный к изображению на временном шаге t. Обновление DDPM вычитает масштабированную версию этого прогноза, а затем добавляет дисперсионный шум, полученный на основе апостериорного значения. DDIM перезаписывает обновление, чтобы сначала оценить чистое изображение x0, а затем повторно проецировать его на следующий (меньший) временной шаг без стохастического члена. Параметр eta объединяет эти два параметра: eta=1 восстанавливает DDPM, eta=0 дает полностью детерминированный DDIM.
Стратегическое воздействие
Скорость и масштаб
Визуальный ИИ может автоматизировать задачи проверки, обнаружения и маркировки в любом масштабе.
Выбор сборки
Творческие группы могут быстрее создавать прототипы концепций с меньшим количеством доработок вручную.
Команда и рабочий процесс
Операции могут использовать изображения и видеосигналы, которые раньше было трудно обрабатывать.
Будущее сэмплеров DDPM и DDIM
Исследования сэмплеров приближаются к одно- или несколькихэтапной генерации. Решатели ОДУ более высокого порядка, такие как DPM-Solver и DPM-Solver++, уже сокращают качество выборки до менее чем 20 шагов, в то время как методы дистилляции (прогрессивная дистилляция, модели согласованности, скрытая согласованность) сжимают модели в генераторы с 1–4 шагами. Ожидается, что DDPM/DDIM останется концептуальной основой, в то время как производственные системы будут опираться на оптимизированные и адаптивные решатели для синтеза изображений и видео в реальном времени на потребительском оборудовании.
Реальная реализация
Генерация изображений Stable Diffusion, где DDIM предлагается в качестве быстрого сэмплера по умолчанию для подсказок преобразования текста в изображение в таких инструментах, как Auto1111 и ComfyUI.
Воспроизводимые графические конвейеры, которые фиксируют случайное начальное число с помощью детерминированного DDIM, поэтому одно и то же приглашение и начальное число всегда восстанавливают идентичное изображение.
Плавная интерполяция скрытого пространства между двумя изображениями для морфинга анимации, ставшая возможной благодаря детерминированному преобразованию шума в выходные данные DDIM.
Быстрая творческая итерация, когда дизайнеры используют 20-этапный предварительный просмотр DDIM для изучения концепций, прежде чем переходить к более медленному и более точному полноэтапному рендерингу.
Риски и ограничения
Права на изображение и согласие могут стать юридическими рисками, если происхождение неясно.
Производительность модели может варьироваться в зависимости от освещения, демографии и окружающей среды.
Ложноположительные результаты могут остаться незамеченными, если не контролировать пороговые значения достоверности.
Дорожная карта реализации
Определите критерии приемки точности, стоимости отзыва и ошибок.
Тестируйте с данными, которые соответствуют реальным производственным условиям.
Добавьте человеческую проверку для прогнозов с низкой достоверностью или высокой эффективностью.
Отслеживайте дрейф модели и выполняйте ее повторную проверку после изменений камеры или набора данных.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the DDPM and DDIM Samplers quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Начальное расстояние Фреше
Часто задаваемые вопросы
What is DDPM and DDIM Samplers?
DDPM и DDIM — это два способа запустить процесс, обратный модели диффузии, шаг за шагом превращая случайный шум в изображение. DDPM — это оригинальный стохастический рецепт; DDIM — это более быстрый и детерминированный ярлык, позволяющий создавать сопоставимые изображения за гораздо меньшее количество шагов.
В чем основное практическое преимущество DDIM перед DDPM?
DDIM следует детерминированной, немарковской траектории, которая позволяет пропустить множество временных шагов и генерировать качественные изображения примерно за 10–50 шагов вместо сотен.
Что на самом деле учится прогнозировать нейронная сеть диффузионной модели во время обучения?
Сеть обучена прогнозировать гауссов шум (эпсилон), добавляемый на каждом временном шаге, который затем используют DDPM и DDIM для обратного процесса.
Почему DDIM может каждый раз создавать одно и то же изображение с одним и тем же начальным шумом?
DDIM исключает фактор стохастического шума в своем обновлении, делая путь от шума к изображению полностью детерминированным и, следовательно, воспроизводимым.
Какое значение параметра eta в DDIM восстанавливает исходное стохастическое поведение DDPM?
Параметр eta интерполирует между двумя пробоотборниками: eta=1 дает полную стохастичность DDPM, а eta=0 дает полностью детерминированный DDIM.
Сколько примерно шагов обычно требовалось оригинальному DDPM для получения высококачественных образцов?
DDPM проходит через каждый уровень шума, добавляя случайность, поэтому обычно требуется от сотен до тысячи обратных шагов.