ДалееСледующее руководство
Pix2Pix Перевод изображения в изображение
Визуальный ИИ
Визуальное руководство по искусственному интеллекту
CycleGAN Непарный перевод
CycleGAN учится переводить изображения между двумя визуальными областями (например, лошадей в зебры или фотографии в картины) без необходимости сопоставления пар примеров «до» и «после».
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
Это важно, потому что сбор парных обучающих данных часто невозможен, а CycleGAN открывает возможность передачи стилей для беспорядочных наборов реальных данных.
Глубокое погружение
CycleGAN, представленный в 2017 году Чжу, Паком, Изолой и Эфросом, занимается непарным переводом изображений в изображения. Большинству более ранних методов (например, pix2pix) требовались точные пары: одна и та же сцена в качестве фотографии и эскиз. CycleGAN устраняет это требование, используя два генератора (G преобразует домен A в B, F преобразует B обратно в A) и два дискриминатора, которые оценивают реалистичность в каждом домене. Прорыв заключается в потере согласованности цикла: если вы переведете фотографию лошади на зебру и переведете ее обратно, вы должны восстановить исходную лошадь. Это ограничение не позволяет генератору изобретать произвольные выходные данные и обеспечивает значимые, сохраняющие содержимое сопоставления. Он, как известно, превращает летние пейзажи в зимние, картины Моне в фотографии, а яблоки в апельсины, и все это извлекается из двух несвязанных стопок изображений.
Реальная реализация
Превращение фотографий в живописный стиль Моне, Ван Гога или Сезанна без примеров парной фотоживописи
Преобразование фотографий летних пейзажей в зимние сцены (и наоборот) для создания ресурсов для фильмов и игр.
Преобразование МРТ-сканирований в изображения, подобные КТ, в медицинских исследованиях, где парные сканы пациентов недоступны.
Адаптация синтетических кадров симулятора вождения, чтобы они выглядели фотореалистично для тренировки восприятия беспилотных транспортных средств.
Будущее непарного перевода CycleGAN
Основная идея CycleGAN — согласованность циклов — продолжает жить в современных работах по непарному переводу, включая методы, основанные на диффузии, которые заменяют магистрали GAN для моделей шумоподавления с более четкими и разнообразными результатами. В настоящее время исследователи применяют непарный перевод к медицинской визуализации (синтез модальностей сканирования), адаптацию предметной области для перевода модели самостоятельного вождения в реальность и увеличения данных. Ожидайте более жесткого контроля над тем, что меняется, а что остается неизменным, а также гибридных подходов, сочетающих ограничения цикла с диффузным редактированием с условием текста.
Применение на практике
Почему это важно
- Скорость и масштаб. Визуальный ИИ может автоматизировать задачи проверки, обнаружения и маркировки в любом масштабе.
- Выбор сборки. Творческие группы могут быстрее создавать прототипы концепций с меньшим количеством доработок вручную.
- Команда и рабочий процесс. Операции могут использовать изображения и видеосигналы, которые раньше было трудно обрабатывать.
Следите за
- Права на изображение и согласие могут стать юридическими рисками, если происхождение неясно.
- Производительность модели может варьироваться в зависимости от освещения, демографии и окружающей среды.
- Ложноположительные результаты могут остаться незамеченными, если не контролировать пороговые значения достоверности.
Следующие шаги
- Определите критерии приемки точности, стоимости отзыва и ошибок.
- Тестируйте с данными, которые соответствуют реальным производственным условиям.
- Добавьте человеческую проверку для прогнозов с низкой достоверностью или высокой эффективностью.
- Отслеживайте дрейф модели и выполняйте ее повторную проверку после изменений камеры или набора данных.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the CycleGAN Unpaired Translation quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
Что такое непарный перевод CycleGAN?
CycleGAN учится переводить изображения между двумя визуальными областями (например, лошадей в зебры или фотографии в картины) без необходимости сопоставления пар примеров «до» и «после». Это важно, потому что сбор парных обучающих данных часто невозможен, а CycleGAN открывает возможность передачи стилей для беспорядочных наборов реальных данных.
Какую ключевую проблему CycleGAN решает, которую не могли решить более ранние методы, такие как pix2pix?
Основной вклад CycleGAN — это непарный перевод, изучение сопоставлений между доменами из двух несвязанных коллекций изображений, а не точных пар.
К чему приводит потеря согласованности цикла?
Постоянство цикла означает, что F(G(x)) должно равняться x: лошадь, превращенная в зебру и обратно, должна выглядеть как исходная лошадь.
Сколько генераторов использует стандартный CycleGAN?
CycleGAN использует два генератора, по одному для каждого направления перевода (от A к B и от B к A), а также два дискриминатора.
Какой тип дискриминатора обычно использует CycleGAN?
CycleGAN использует дискриминатор PatchGAN, который определяет перекрывающиеся патчи как настоящие или поддельные, что способствует локальному реализму.
Почему в CycleGAN иногда добавляется потеря личности?
Потеря идентичности наказывает за ненужные изменения, когда изображение уже находится в целевом домене, помогая сохранить цвета и оттенки.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме