Техническое РУКОВОДСТВО

Состязательная диффузионная дистилляция и турбомодели

Состязательная диффузионная дистилляция (ADD) — это метод обучения, который превращает медленную многоэтапную диффузионную модель в студента, генерирующего изображения за один-четыре шага.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице4 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее состязательной диффузионной дистилляции и турбо-моделей
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Он сочетает в себе состязательную потерю дискриминатора с руководством исходной модели учителя. ADD производила SDXL Turbo, а скрытый вариант использовался для быстрых моделей, таких как SD3 Turbo и, согласно Black Forest Labs, Flux.1 schnell. Результатом является генерация изображений практически в реальном времени на обычном оборудовании, но с некоторыми затратами на разнообразие и точный контроль.

Глубокое погружение

Стандартная модель диффузии создает изображение путем удаления шума за множество шагов, обычно от 20 до 50, и каждый шаг представляет собой полный проход через большую сеть. Дистилляция обучает студенческую сеть достигать аналогичного результата за гораздо меньшее количество шагов. Stability AI представил состязательную диффузионную дистилляцию в статье Акселя Зауэра и его коллег в ноябре 2023 года, выпущенной вместе с SDXL Turbo. Студент начинает с предварительно обученных весов SDXL и тренируется с двумя потерями. Состязательная потеря происходит из-за дискриминатора, который пытается отличить результаты ученика от реальных изображений. В ADD этот дискриминатор построен на основе замороженной предварительно обученной зрительной системы (DINOv2) с небольшими обучаемыми головками. Потери при перегонке используют в качестве учителя исходный SDXL. Результаты ученика снова зашумлены, учитель их шумопоглощает, и ученик подталкивается к предсказанию учителя, форме дистилляции оценок. Состязательный термин сохраняет четкость одношаговых изображений, а термин учителя сохраняет их верность тому, что знает большая модель. Более поздний вариант, «Скрытая состязательная диффузионная дистилляция» (LADD), запускает дискриминатор в скрытом пространстве, используя собственные функции учителя, что позволяет избежать дорогостоящего декодирования в пиксели. Он использовался для SD3 Turbo, и Black Forest Labs сообщил, что шнелль Flux.1 был обучен таким образом. Компромиссы реальны. Дистиллированные модели обычно теряют некоторое разнообразие выборок, поэтому разные исходные данные для одной и той же подсказки могут выглядеть одинаково. Руководство без классификатора обычно встроено, поэтому шкала указаний и отрицательные подсказки ведут себя по-другому или практически не работают. Мелкая детализация, прорисовка текста и необычные композиции могут отставать от преподавателя. Распространенным заблуждением является то, что турбо-модель — это просто полная модель с меньшим количеством шагов. Обычный запуск модели за один шаг дает размытую путаницу, а скорость получается от переобучения. Другие способы быстрого отбора проб включают модели консистенции, LCM, прогрессивную дистилляцию и SDXL Lightning.

Реальная реализация

Приложение для рисования в реальном времени восстанавливает изображение каждый раз, когда пользователь вводит или редактирует эскиз, используя SDXL Turbo за один шаг, поэтому результаты появляются практически мгновенно.

Концепт-арт игровой студии, создающий прототипы, генерирует сотни быстрых вариантов с помощью Flux.1 schnell за четыре шага, а затем уточняет выбранные с помощью более медленной полной модели.

Разработчик обнаружил, что отрицательные подсказки и высокие значения рекомендаций мало влияют на модель Turbo, поскольку руководство было встроено во время дистилляции. Вместо этого они корректируют формулировку подсказки.

Небольшая некоммерческая организация запускает локальный инструмент обработки изображений на графическом процессоре среднего класса и выбирает упрощенную модель, поскольку четырехэтапная генерация позволяет сократить время ожидания для проведения семинаров в реальном времени.

Будущее состязательной диффузионной дистилляции и турбо-моделей

Генерация в несколько шагов стала ожидаемым вариантом для новых моделей изображений, и аналогичные идеи дистилляции применяются к видео, где каждый сохраненный шаг имеет еще большее значение. Продолжаются исследования по устранению пробелов в разнообразии и оперативном контроле, например, путем объединения состязательных потерь с целями сопоставления распределения. Могут ли одношаговые модели полностью соответствовать своим учителям, все еще остается открытым вопросом, и ответ зависит от того, как измеряется качество. Для пользователей практический результат — больший выбор: быстрые модели для черновиков, предварительного просмотра и интерактивных инструментов и более медленные полные модели, когда детализация и контроль имеют наибольшее значение.

Применение на практике

Почему это важно

  • Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
  • Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
  • Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.

Следите за

  • Оптимизация одного теста может скрыть более широкие недостатки системы.
  • Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
  • Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.

Следующие шаги

  1. Определите целевые показатели задержки, качества и стоимости перед внедрением.
  2. Тестирование при реалистичной нагрузке и условиях данных.
  3. Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
  4. Перед масштабированием подготовьте пути отката и реагирования на инциденты.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the Adversarial Diffusion Distillation and Turbo Models quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое состязательная диффузионная дистилляция и турбомодели?

Состязательная диффузионная дистилляция (ADD) — это метод обучения, который превращает медленную многоэтапную диффузионную модель в студента, генерирующего изображения за один-четыре шага. Он сочетает в себе состязательную потерю дискриминатора с руководством исходной модели учителя. ADD производила SDXL Turbo, а скрытый вариант использовался для быстрых моделей, таких как SD3 Turbo и, согласно Black Forest Labs, Flux.1 schnell. Результатом является генерация изображений практически в реальном времени на обычном оборудовании, но с некоторыми затратами на разнообразие и точный контроль.

Какие две потери объединяет ADD?

ADD сочетает состязательные потери дискриминатора, которые сохраняют четкость изображений, с потерями при дистилляции очков от учителя, которые сохраняют их верность исходной модели.

Какая модель была выпущена вместе с документом ADD?

Stability AI выпустил SDXL Turbo вместе с документом ADD, опубликованным в ноябре 2023 года Зауэром и его коллегами.

Какую основу использует дискриминатор ADD?

Дискриминатор использует замороженные предварительно обученные функции DINOv2 и обучает поверх них только небольшие головки.

Чем LADD отличается от ADD?

LADD перемещает различение в скрытое пространство, используя собственные функции учителя, что позволяет избежать дорогостоящего декодирования в пиксели.

Почему негативные подсказки часто мало влияют на турбо-модели?

Негативные подсказки действуют посредством руководства без классификаторов. Дистиллированные модели обычно поглощают указания во время тренировки и работают без них, поэтому негативные подсказки теряют свой эффект.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →