Початкова відстань Фреше
Початкова відстань Фреше (FID) є стандартним показником для визначення того, наскільки реалістичним і різноманітним є набір створених зображень.
Огляд
It compares the statistics of real and generated images in a deep feature space — lower scores mean the fakes look closer to the real thing.
Глибоке занурення
FID, представлений Heusel та ін. у 2017 році виправили ключову помилку в попередньому Inception Score: він ніколи не порівнював згенеровані зображення з фактичними реальними даними. FID передає як реальні, так і створені зображення через попередньо підготовлену мережу Inception-v3 і зчитує 2048-вимірний вектор ознак із глибокого рівня об’єднання для кожного зображення. Потім він моделює кожен набір ознак як багатовимірний гаусс, узагальнюючи їх середнім вектором і коваріаційною матрицею. Відстань між двома Гауссами обчислюється за допомогою відстані Фреше (також називається 2-відстанню Вассерштейна). Нижчий FID означає, що середнє значення та розкид згенерованого розподілу точно відповідають реальним зображенням, захоплюючи як точність (чи вони виглядають справжніми?), так і різноманітність (чи охоплюють вони різні реальні дані?).
Технічне розуміння
Формула FID — це квадрат різниці двох середніх векторів плюс слід (сума коваріацій мінус подвоєний матричний квадратний корінь із їх добутку). Оскільки він використовує повну коваріацію, FID карає як розмиті, нереалістичні виходи, так і згортання режиму, коли модель створює занадто мало різноманітності. Він чутливий до розміру вибірки — занадто мало зображень зміщує оцінку вгору — тому практики зазвичай обчислюють його на основі десятків тисяч зображень, часто 50 000.
Стратегічний вплив
Швидкість і масштаб
Візуальний штучний інтелект може автоматизувати масштабні завдання перевірки, виявлення та позначення тегами.
Створіть вибір
Творчі групи можуть створювати прототипи концепцій швидше з меншою кількістю переглядів вручну.
Команда та робочий процес
Операції можуть використовувати зображення та відеосигнали, які раніше було важко обробити.
Майбутнє Fréchet Inception Distance
FID залишається полем за замовчуванням, але його слабкі сторони стимулюють альтернативи. Дослідники показали, що він успадковує упередження ImageNet від Inception-v3 і може не погоджуватися з людським судженням, спонукаючи такі показники, як FID, обчислений на основі функцій CLIP (іноді його називають FDD або CMMD), початкова відстань ядра (KID) для невеликих зразків і показники точності/відклику, які відокремлюють точність від різноманітності. Очікуйте більш детальну оцінку, яка не залежить від основних функцій і сприйняття, особливо тому, що генерація тексту в зображення та відео переростає підсумки з одного числа.
Реалізація в реальному світі
Порівняльний аналіз GAN, наприклад StyleGAN, де команди звітують про FID на наборах даних, таких як FFHQ, щоб порівняти якість створення обличчя.
Відстеження прогресу навчання дифузійної моделі шляхом обчислення FID у контрольних точках, щоб побачити, коли якість зображення перестає покращуватися.
Порівняння конкуруючих моделей перетворення тексту в зображення на наборі даних COCO, де нижчий FID вказується як доказ більш реалістичних результатів.
Виявлення колапсу режиму в генераторі, оскільки коваріаційний член FID зростає, коли модель створює занадто малу різноманітність зображень.
Ризики та огорожі
Права на зображення та згода можуть стати юридичними ризиками, якщо походження невідоме.
Продуктивність моделі може відрізнятися залежно від освітлення, демографічних показників і середовища.
Помилкові спрацьовування можуть залишитися непоміченими, якщо не відстежувати пороги довіри.
Дорожня карта впровадження
Визначте критерії прийнятності для точності, відкликання та вартості помилок.
Тестуйте з даними, які відповідають реальним умовам виробництва.
Додайте перевірку людиною для прогнозів із низьким рівнем достовірності або високого впливу.
Відстежуйте дрейф моделі та повторно перевіряйте після зміни камери або набору даних.
Продовжуйте досліджувати
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Fréchet Inception Distance quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Наступний посібник
Знакові функції відстані
Часті запитання
What is Fréchet Inception Distance?
Початкова відстань Фреше (FID) є стандартним показником для визначення того, наскільки реалістичним і різноманітним є набір створених зображень. Він порівнює статистику реальних і згенерованих зображень у глибокому просторі ознак — нижчі оцінки означають, що підробки виглядають ближче до справжніх.
Про що свідчить нижча оцінка FID?
FID вимірює відстань між реальним і згенерованим розподілом ознак, тому нижче значення означає, що згенерований набір точніше відповідає реальним даним щодо точності та різноманітності.
Яку попередньо підготовлену мережу використовує стандартний FID для вилучення характеристик зображення?
FID передає зображення через попередньо підготовлену мережу Inception-v3 і використовує свої 2048-вимірні функції рівня об’єднання як для реальних, так і для створених зображень.
Як FID узагальнює кожен набір характеристик зображення перед їх порівнянням?
Кожен набір функцій моделюється як багатовимірна Гаусса, а FID обчислює відстань Фреше (2-Вассерштейна) між двома Гауссами.
Який ключовий недолік початкової оцінки усунув FID?
Inception Score оцінював лише ізольовані згенеровані зображення; FID покращив його шляхом прямого порівняння розподілу згенерованого та реального зображення.
Чому FID підвищується, коли генератор страждає від збою режиму?
FID використовує повну коваріацію ознак, тому, коли модель створює занадто мало різноманітності, її розповсюдження розходиться з реальними даними, підвищуючи оцінку.