ДалееСледующее руководство
Перцепционное хеширование для почти повторяющихся изображений
Визуальный ИИ
Визуальное руководство по искусственному интеллекту
Потеря восприятия и LPIPS
Perceptual losses compare image representations from a neural network instead of relying only on pixel differences.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
LPIPS calibrates such feature distances against human similarity judgments, but no score guarantees that every image pair will be judged alike by every viewer.
Глубокое погружение
Традиционные потери, такие как L2 (среднеквадратическая ошибка), сравнивают изображения попиксельно, поэтому сдвиг на один пиксель или немного другая текстура выглядят как огромная ошибка, даже если люди ее почти не замечают. Вместо этого потеря восприятия пропускает оба изображения через предварительно обученную сеть (часто VGG) и сравнивает активации от промежуточных слоев. Поскольку эти функции кодируют края, текстуры и части объектов, а не точные значения пикселей, потери лучше согласуются с человеческим мнением, обеспечивая четкие, семантически верные результаты. LPIPS (Сходство выученных перцептивных изображений), представленный Чжаном и др. в 2018 году формализует это: он извлекает глубокие особенности, нормализует их и применяет полученные веса, откалиброванные на основе тысяч суждений о сходстве людей, создавая единый показатель расстояния, где более низкий показатель означает более схожий по восприятию.
Реальная реализация
Обучение сетей сверхвысокого разрешения (например, SRGAN), чтобы увеличенные фотографии выглядели резкими и текстурированными, а не размытыми.
Оценка сжатия изображения и кодеков путем оценки того, насколько близко по восприятию декодированное изображение к оригиналу.
Руководящая передача стиля, при которой контент сопоставляется с помощью глубоких функций VGG, а не точных пикселей.
Сравнительный анализ генераторов изображений GAN и диффузии путем сообщения о расстоянии LPIPS между сгенерированными и реальными изображениями.
Будущее потери восприятия и LPIPS
Показатели восприятия смещаются от магистральных сетей CNN к функциям моделей с самоконтролем и преобразователем зрения, таких как DINO и CLIP, которые улавливают более богатую семантику. Ожидайте более тесной интеграции с обучением диффузионной модели и оценкой преобразования текста в изображение, а также оценками восприятия, настроенными на временную согласованность видео. Исследователи также исследуют «слепые зоны» LPIPS: его можно обмануть враждебно, и он слабо коррелирует с качеством при очень высокой точности, что мотивирует появление новых показателей, ориентированных на человека, таких как DISTS и ансамблевые подходы.
Применение на практике
Почему это важно
- Скорость и масштаб. Визуальный ИИ может автоматизировать задачи проверки, обнаружения и маркировки в любом масштабе.
- Выбор сборки. Творческие группы могут быстрее создавать прототипы концепций с меньшим количеством доработок вручную.
- Команда и рабочий процесс. Операции могут использовать изображения и видеосигналы, которые раньше было трудно обрабатывать.
Следите за
- Права на изображение и согласие могут стать юридическими рисками, если происхождение неясно.
- Производительность модели может варьироваться в зависимости от освещения, демографии и окружающей среды.
- Ложноположительные результаты могут остаться незамеченными, если не контролировать пороговые значения достоверности.
Следующие шаги
- Определите критерии приемки точности, стоимости отзыва и ошибок.
- Тестируйте с данными, которые соответствуют реальным производственным условиям.
- Добавьте человеческую проверку для прогнозов с низкой достоверностью или высокой эффективностью.
- Отслеживайте дрейф модели и выполняйте ее повторную проверку после изменений камеры или набора данных.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the Perceptual Loss and LPIPS quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
Что такое потеря восприятия и LPIPS?
Perceptual losses compare image representations from a neural network instead of relying only on pixel differences. LPIPS calibrates such feature distances against human similarity judgments, but no score guarantees that every image pair will be judged alike by every viewer.
Почему потеря L2 на основе пикселей часто неверно оценивает сходство изображений по сравнению с потерей восприятия?
L2 сравнивает пиксели напрямую, поэтому небольшие пространственные сдвиги или различия в текстурах регистрируются как большие ошибки, даже если человеку изображение кажется хорошим.
Что LPIPS в первую очередь сравнивает между двумя изображениями?
LPIPS извлекает глубокие активации функций из фиксированной магистрали и измеряет их расстояние, что лучше соответствует человеческому восприятию, чем пиксели.
Как определялись веса каждого канала в LPIPS?
Веса были изучены для соответствия большому набору данных (BAPPS) человеческих решений о сходстве с двумя альтернативами и вынужденным выбором.
What does a lower LPIPS value indicate for a tested image pair?
LPIPS is calibrated to human similarity judgments, but its distance remains a model-based measure with limitations.
Какая магистральная сеть чаще всего связана с классической потерей восприятия (функций)?
Карты промежуточных объектов VGG стали стандартом для потери восприятия в таких задачах, как сверхразрешение и передача стиля.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме