ESRGAN и GAN Super-Resolution
ESRGAN использует конкурс «генератор против дискриминатора», чтобы создать реалистичные детали при масштабировании изображений, выходя за рамки размытой интерполяции.
Обзор
It matters because it set the template for photo-realistic super-resolution that still influences tools today.
Глубокое погружение
ESRGAN (Enhanced Super-Resolution Generative Adversarial Network), представленная в 2018 году, представляет собой усовершенствованную версию SRGAN. Он использует генератор, построенный на основе плотных блоков «остаток в остатке» (RRDB), который объединяет множество плотных соединений без пакетной нормализации, что, как обнаружили авторы, вызывает артефакты. Отдельная сеть дискриминатора пытается отличить настоящие фотографии с высоким разрешением от сгенерированных, заставляя генератор галлюцинировать убедительные текстуры, такие как волосы, кирпичи и листва. ESRGAN объединяет три потери: потерю контента по пикселям, потерю восприятия, измеренную на картах объектов VGG перед активацией, и состязательную потерю. Он также представил «релятивистский» дискриминатор, который оценивает, выглядят ли реальные изображения более реалистичными, чем поддельные, что повышает точность обучения. ESRGAN выиграла конкурс PIRM по перцепционному сверхразрешению в 2018 году.
Техническая информация
Ключевая идея — это обмен пикселей на реалистичность восприятия. Потери пикселей, такие как MSE, усредняются по правдоподобным текстурам, что дает плавный и размытый результат. Вместо этого состязательная потеря приводит к выводу на множество реалистичных изображений, поэтому генератор фиксирует одну четкую, правдоподобную текстуру. Релятивистский средний дискриминатор ESRGAN оценивает, насколько реалистичнее настоящий участок, чем поддельный, который передает больше информации о градиенте и создает более четкие края, чем стандартный дискриминатор.
Стратегическое воздействие
Скорость и масштаб
Визуальный ИИ может автоматизировать задачи проверки, обнаружения и маркировки в любом масштабе.
Выбор сборки
Творческие группы могут быстрее создавать прототипы концепций с меньшим количеством доработок вручную.
Команда и рабочий процесс
Операции могут использовать изображения и видеосигналы, которые раньше было трудно обрабатывать.
Будущее суперразрешения ESRGAN и GAN
Чистое сверхразрешение GAN все чаще смешивается или заменяется магистральными трансформаторами и устройствами масштабирования на основе диффузии, которые обеспечивают более стабильное обучение и более точный контроль. Тем не менее, генератор RRDB от ESRGAN и рецепт «перцепция плюс состязательность» остаются мощной и легкой основой, встроенной в бесчисленные моды игровых текстур и фотоинструменты. Ожидайте гибридные модели, которые сохраняют четкость GAN, заимствуя при этом разнообразие диффузии и контекст трансформаторов на большие расстояния, а также более плотное развертывание на устройстве для масштабирования в реальном времени.
Реальная реализация
Масштабирование текстур низкого разрешения в модах видеоигр (популярно в сообществе моддеров AI Upscale для старых игр для ПК)
Улучшение старых семейных фотографий или отсканированных изображений перед печатью в большем размере.
Улучшение фотографий, извлеченных из архивных материалов или записей камер наблюдения с низким разрешением.
Создание текстурных карт высокого разрешения для 3D-художников, работающих с небольшими эталонными изображениями.
Риски и ограничения
Права на изображение и согласие могут стать юридическими рисками, если происхождение неясно.
Производительность модели может варьироваться в зависимости от освещения, демографии и окружающей среды.
Ложноположительные результаты могут остаться незамеченными, если не контролировать пороговые значения достоверности.
Дорожная карта реализации
Определите критерии приемки точности, стоимости отзыва и ошибок.
Тестируйте с данными, которые соответствуют реальным производственным условиям.
Добавьте человеческую проверку для прогнозов с низкой достоверностью или высокой эффективностью.
Отслеживайте дрейф модели и выполняйте ее повторную проверку после изменений камеры или набора данных.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ESRGAN and GAN Super-Resolution quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Изображение сверхвысокого разрешения
Часто задаваемые вопросы
What is ESRGAN and GAN Super-Resolution?
ESRGAN использует конкурс «генератор против дискриминатора», чтобы создать реалистичные детали при масштабировании изображений, выходя за рамки размытой интерполяции. Это важно, потому что оно задало шаблон фотореалистичного сверхвысокого разрешения, которое до сих пор влияет на инструменты.
Что означает «GAN» в ESRGAN?
GAN расшифровывается как Generative Adversarial Network, установка, в которой генератор и дискриминатор соревнуются во время обучения.
Какой блок в основном использует генератор ESRGAN?
Генератор ESRGAN включает в себя плотные блоки «остаток в остатке» (RRDB), плотно связанные остаточные единицы, в качестве своей базовой структуры.
Почему авторы ESRGAN удалили пакетную нормализацию из генератора?
Авторы обнаружили, что пакетная нормализация приводит к неприятным артефактам на выходе сверхвысокого разрешения, поэтому они удалили ее из блоков RRDB.
Какой основной компромисс делает ESRGAN по сравнению с методами, основанными только на потере пикселей?
Состязательные потери приводят к тому, что текстуры выглядят реалистично, даже если значения отдельных пикселей отличаются от реальных.
Где измеряется потеря восприятия (VGG) ESRGAN?
ESRGAN вычисляет потери восприятия на картах признаков VGG перед функцией активации, что, как обнаружили авторы, дает более точные результаты.