ДаліНаступний посібник
Perceptual Hashing for Near-Duplicate Images
Візуальний ШІ
Візуальний AI GUIDE
Втрата сприйняття та LPIPS
Perceptual losses compare image representations from a neural network instead of relying only on pixel differences.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
LPIPS calibrates such feature distances against human similarity judgments, but no score guarantees that every image pair will be judged alike by every viewer.
Глибоке занурення
Традиційні втрати, такі як L2 (середня квадратична помилка), порівнюють зображення піксель за пікселем, тому зсув на один піксель або дещо інша текстура виглядають як величезна помилка, навіть якщо люди майже не помічають. Натомість втрата сприйняття пропускає обидва зображення через попередньо навчену мережу (часто VGG) і порівнює активації з проміжних рівнів. Оскільки ці функції кодують краї, текстури та частини об’єктів, а не точні значення пікселів, втрата краще узгоджується з людським судженням, заохочуючи чіткі, семантично точні результати. LPIPS (Learned Perceptual Image Patch Similarity), представлений Zhang et al. у 2018 році формалізує це: він виділяє глибокі риси, нормалізує їх і застосовує вивчені ваги, відкалібровані за тисячами людських суджень про подібність, створюючи єдину оцінку відстані, де нижча означає більшу перцептивну схожість.
Реалізація в реальному світі
Тренування мереж із високою роздільною здатністю (наприклад, SRGAN), щоб покращені фотографії виглядали різкими та текстурованими, а не розмитими.
Оцінка стиснення зображення та кодеків шляхом оцінки того, наскільки перцепційно близьке декодоване зображення до оригіналу.
Передача керівного стилю, де вміст зіставляється за допомогою глибоких функцій VGG, а не точних пікселів.
Порівняльний аналіз GAN і генераторів дифузійних зображень шляхом звітування про відстань LPIPS між згенерованими та реальними зображеннями.
Майбутнє втрати сприйняття та LPIPS
Перцептивні показники переміщуються від основ CNN до функцій моделей із самоконтролем і трансформатором бачення, таких як DINO та CLIP, які охоплюють багатшу семантику. Очікуйте тіснішої інтеграції з навчанням дифузійної моделі та оцінюванням тексту в зображення, а також оцінками сприйняття, налаштованими на постійність відео у часі. Дослідники також досліджують сліпі зони LPIPS: його можна обдурити, і він слабо корелює з якістю при дуже високій точності, мотивуючи нові метрики, орієнтовані на людину, такі як DISTS і ансамблеві підходи.
Застосування на практиці
Чому це важливо
- Швидкість і масштаб. Візуальний штучний інтелект може автоматизувати масштабні завдання перевірки, виявлення та позначення тегами.
- Створіть вибір. Творчі групи можуть створювати прототипи концепцій швидше з меншою кількістю переглядів вручну.
- Команда та робочий процес. Операції можуть використовувати зображення та відеосигнали, які раніше було важко обробити.
Зверніть увагу на
- Права на зображення та згода можуть стати юридичними ризиками, якщо походження невідоме.
- Продуктивність моделі може відрізнятися залежно від освітлення, демографічних показників і середовища.
- Помилкові спрацьовування можуть залишитися непоміченими, якщо не відстежувати пороги довіри.
Наступні кроки
- Визначте критерії прийнятності для точності, відкликання та вартості помилок.
- Тестуйте з даними, які відповідають реальним умовам виробництва.
- Додайте перевірку людиною для прогнозів із низьким рівнем достовірності або високого впливу.
- Відстежуйте дрейф моделі та повторно перевіряйте після зміни камери або набору даних.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the Perceptual Loss and LPIPS quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
What is Perceptual Loss and LPIPS?
Perceptual losses compare image representations from a neural network instead of relying only on pixel differences. LPIPS calibrates such feature distances against human similarity judgments, but no score guarantees that every image pair will be judged alike by every viewer.
Чому втрата L2 на основі пікселів часто неправильно оцінює схожість зображення порівняно з втратою сприйняття?
L2 безпосередньо порівнює пікселі, тому невеликі просторові зрушення або відмінності текстури реєструються як великі помилки, навіть якщо зображення виглядає добре для людини.
Що в основному LPIPS порівнює між двома зображеннями?
LPIPS витягує глибокі активації функцій із фіксованої магістралі та вимірює їх відстань, що краще узгоджується з людським сприйняттям, ніж пікселі.
Як визначалися ваги кожного каналу в LPIPS?
Було встановлено, що вагові коефіцієнти відповідають великому набору даних (BAPPS) рішень щодо подібності двох альтернативних рішень людини.
What does a lower LPIPS value indicate for a tested image pair?
LPIPS is calibrated to human similarity judgments, but its distance remains a model-based measure with limitations.
Яка магістральна мережа найчастіше асоціюється з класичною втратою сприйняття (функцій)?
Карти проміжних функцій VGG стали стандартом для втрати сприйняття в таких завданнях, як суперроздільна здатність і передача стилю.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми