Начальное расстояние Фреше
Начальное расстояние Фреше (FID) — это стандартный показатель, позволяющий оценить, насколько реалистичным и разнообразным является набор сгенерированных изображений.
Обзор
It compares the statistics of real and generated images in a deep feature space — lower scores mean the fakes look closer to the real thing.
Глубокое погружение
FID, представленный Heusel et al. в 2017 году исправили ключевой недостаток более ранней версии Inception Score: она никогда не сравнивала сгенерированные изображения с реальными данными. FID передает как реальные, так и сгенерированные изображения через предварительно обученную сеть Inception-v3 и считывает 2048-мерный вектор признаков из слоя глубокого пула для каждого изображения. Затем он моделирует каждый набор признаков как многомерную гауссиану, суммируя их с помощью среднего вектора и ковариационной матрицы. Расстояние между двумя гауссианами вычисляется с помощью расстояния Фреше (также называемого 2-расстоянием Вассерштейна). Более низкий FID означает, что среднее значение и разброс сгенерированного распределения близко соответствуют реальным изображениям, отражая как точность (они выглядят реальными?), так и разнообразие (охватывают ли они разнообразие реальных данных?).
Техническая информация
Формула FID представляет собой квадрат разности двух средних векторов плюс след (сумма ковариаций минус двойной матричный квадратный корень из их произведения). Поскольку FID использует полную ковариацию, он наказывает как размытые, нереалистичные выходные данные, так и коллапс режимов, когда модель дает слишком мало разнообразия. Он чувствителен к размеру выборки — слишком мало изображений смещает оценку вверх, поэтому специалисты-практики обычно вычисляют ее по десяткам тысяч изображений, часто 50 000.
Стратегическое воздействие
Скорость и масштаб
Визуальный ИИ может автоматизировать задачи проверки, обнаружения и маркировки в любом масштабе.
Выбор сборки
Творческие группы могут быстрее создавать прототипы концепций с меньшим количеством доработок вручную.
Команда и рабочий процесс
Операции могут использовать изображения и видеосигналы, которые раньше было трудно обрабатывать.
Будущее начальной дистанции Фреше
FID остается стандартом по умолчанию, но его недостатки вынуждают искать альтернативы. Исследователи показали, что он унаследовал предвзятость ImageNet от Inception-v3 и может не соглашаться с человеческим мнением, что приводит к использованию таких показателей, как FID, вычисляемых на основе функций CLIP (иногда называемых FDD или CMMD), начального расстояния ядра (KID) для небольших выборок и показателей точности/отзыва, которые отделяют точность от разнообразия. Ожидайте более обширной, независимой от функциональной основы и ориентированной на восприятие оценки, особенно по мере того, как преобразование текста в изображение и создание видео перерастают однозначные сводки.
Реальная реализация
Бенчмаркинг GAN, таких как StyleGAN, где команды сообщают FID по наборам данных, таким как FFHQ, для сравнения качества генерации лиц.
Отслеживание прогресса обучения диффузионной модели путем вычисления FID в контрольных точках, чтобы увидеть, когда качество изображения перестанет улучшаться.
Сравнение конкурирующих моделей преобразования текста в изображение в наборе данных COCO, где более низкий FID приводится как свидетельство более реалистичных результатов.
Обнаружение коллапса режима в генераторе, поскольку ковариационный член FID увеличивается, когда модель создает слишком мало разнообразия изображений.
Риски и ограничения
Права на изображение и согласие могут стать юридическими рисками, если происхождение неясно.
Производительность модели может варьироваться в зависимости от освещения, демографии и окружающей среды.
Ложноположительные результаты могут остаться незамеченными, если не контролировать пороговые значения достоверности.
Дорожная карта реализации
Определите критерии приемки точности, стоимости отзыва и ошибок.
Тестируйте с данными, которые соответствуют реальным производственным условиям.
Добавьте человеческую проверку для прогнозов с низкой достоверностью или высокой эффективностью.
Отслеживайте дрейф модели и выполняйте ее повторную проверку после изменений камеры или набора данных.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Fréchet Inception Distance quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Функции знакового расстояния
Часто задаваемые вопросы
What is Fréchet Inception Distance?
Начальное расстояние Фреше (FID) — это стандартный показатель, позволяющий оценить, насколько реалистичным и разнообразным является набор сгенерированных изображений. Он сравнивает статистику реальных и сгенерированных изображений в глубоком пространстве признаков — более низкие оценки означают, что подделки выглядят ближе к реальным.
О чем говорит более низкий балл FID?
FID измеряет расстояние между реальным и сгенерированным распределениями признаков, поэтому более низкое значение означает, что сгенерированный набор более точно соответствует реальным данным по точности и разнообразию.
Какую предварительно обученную сеть использует стандартный FID для извлечения признаков изображения?
FID передает изображения через предварительно обученную сеть Inception-v3 и использует свои 2048-мерные функции уровня пула как для реальных, так и для сгенерированных изображений.
Как FID суммирует каждый набор функций изображения перед их сравнением?
Каждый набор функций моделируется как многомерная гауссиана, и FID вычисляет расстояние Фреше (2-Вассерштейна) между двумя гауссианами.
Какой ключевой недостаток начальной оценки FID устранил?
Начальная оценка оценивала только сгенерированные изображения по отдельности; FID улучшил его, напрямую сравнив распределение сгенерированных и реальных изображений.
Почему FID повышается, когда генератор страдает от коллапса режима?
FID использует полную ковариацию признаков, поэтому, когда модель дает слишком мало разнообразия, ее разброс отличается от реальных данных, что приводит к увеличению оценки.