Начално разстояние на Fréchet
Началното разстояние на Fréchet (FID) е стандартният показател за преценка колко реалистичен и разнообразен е набор от генерирани изображения.
Преглед
It compares the statistics of real and generated images in a deep feature space — lower scores mean the fakes look closer to the real thing.
Дълбоко гмуркане
FID, въведен от Heusel et al. през 2017 г. поправи ключов недостатък в по-ранния начален резултат: той никога не сравняваше генерираните изображения с действителните реални данни. FID захранва както реални, така и генерирани изображения чрез предварително обучена мрежа Inception-v3 и чете 2048-измерен вектор на характеристиките от дълбок слой за обединяване за всяко изображение. След това моделира всеки набор от характеристики като многовариантна гаусиана, като ги обобщава чрез среден вектор и ковариационна матрица. Разстоянието между двете Гаусиани се изчислява с разстоянието на Фреше (наричано също разстояние 2-Васерщайн). По-нисък FID означава, че средната стойност и разпространението на генерираното разпределение съвпадат много с реални изображения, като улавят както прецизността (изглеждат ли реални?), така и разнообразието (покриват ли разнообразието от реални данни?).
Техническа информация
Формулата на FID е разликата на квадрат на двата средни вектора плюс следата от (сума от ковариации минус два пъти квадратния корен на матрицата от техния продукт). Тъй като използва пълна ковариация, FID наказва както замъглените, нереалистични резултати, така и колапса на режима, когато моделът създава твърде малко разнообразие. Той е чувствителен към размера на извадката - твърде малко изображения повдигат оценката нагоре - така че практикуващите обикновено го изчисляват върху десетки хиляди изображения, често 50 000.
Стратегическо въздействие
Speed and scale
Visual AI може да автоматизира задачи за проверка, откриване и маркиране в мащаб.
Build choices
Творческите екипи могат да създават прототипи на концепции по-бързо с по-малко ръчни ревизии.
Team and workflow
Операциите могат да използват изображения и видео сигнали, които преди са били трудни за обработка.
Бъдещето на Fréchet Inception Distance
FID остава по подразбиране на полето, но неговите слабости водят до алтернативи. Изследователите са показали, че наследява пристрастията на ImageNet от Inception-v3 и може да не е съгласен с човешката преценка, подсказвайки показатели като FID, изчислени на CLIP характеристики (понякога наричани FDD или CMMD), Kernel Inception Distance (KID) за малки проби и показатели за прецизност/извикване, които разделят точността от разнообразието. Очаквайте по-богата оценка, независима от гръбнака на функциите и съобразена с възприемането, особено когато генерирането на текст към изображение и видео надрасне обобщенията с едно число.
Внедряване в реалния свят
Сравнителен анализ на GAN като StyleGAN, където екипите отчитат FID на набори от данни като FFHQ, за да сравнят качеството на генериране на лица.
Проследяване на напредъка на обучение на дифузионен модел чрез изчисляване на FID в контролни точки, за да видите кога качеството на изображението спира да се подобрява.
Сравняване на конкурентни модели текст-към-изображение в набора от данни COCO, където по-нисък FID се цитира като доказателство за по-реалистични резултати.
Откриване на колапс на режима в генератор, тъй като членът на ковариацията на FID нараства, когато моделът произвежда твърде малко разнообразие на изображения.
Рискове и предпазни огради
Правата върху изображението и съгласието могат да се превърнат в правни рискове, ако произходът е неясен.
Производителността на модела може да варира в зависимост от осветлението, демографските данни и средата.
Фалшивите положителни резултати могат да останат незабелязани, освен ако не се наблюдават праговете на достоверност.
Пътна карта за изпълнение
Определете критерии за приемане за прецизност, извикване и разходи за грешки.
Тествайте с данни, които съответстват на реалните производствени условия.
Добавете преглед от човек за прогнози с ниска степен на сигурност или с голямо въздействие.
Проследявайте дрейфа на модела и проверявайте отново след промени в камерата или набора от данни.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Fréchet Inception Distance quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Функции за разстояние със знак
Frequently asked questions
What is Fréchet Inception Distance?
Началното разстояние на Fréchet (FID) е стандартният показател за преценка колко реалистичен и разнообразен е набор от генерирани изображения. Той сравнява статистиката на реални и генерирани изображения в дълбоко пространство на характеристиките - по-ниските резултати означават, че фалшификатите изглеждат по-близо до истинското нещо.
Какво означава по-нисък FID резултат?
FID измерва разстоянието между реални и генерирани разпределения на функции, така че по-ниска стойност означава, че генерираният набор съвпада по-точно с реалните данни по отношение на точността и разнообразието.
Коя предварително обучена мрежа използва стандартният FID за извличане на характеристики на изображение?
FID предава изображения през предварително обучена мрежа Inception-v3 и използва своите 2048-измерни функции за обединяване на слоевете както за реални, така и за генерирани изображения.
Как FID обобщава всеки набор от характеристики на изображението, преди да ги сравни?
Всеки набор от функции е моделиран като многовариантна гаусова функция и FID изчислява разстоянието на Фреше (2-Васерщайн) между двете гаусови системи.
Какъв основен недостатък на началния резултат е адресирал FID?
Първоначалният резултат оценяваше само генерирани изображения изолирано; FID го подобри чрез директно сравняване на генерирани и реални разпределения на изображения.
Защо FID се покачва, когато генератор страда от срив на режима?
FID използва пълната ковариация на характеристиките, така че когато даден модел произвежда твърде малко разнообразие, разпространението му се отклонява от реалните данни, което повишава резултата.