NastępnyNastępny poradnik
Percepcyjne mieszanie dla prawie zduplikowanych obrazów
Wizualna sztuczna inteligencja
PRZEWODNIK Wizualnej AI
Utrata percepcji i LPIPS
Perceptual losses compare image representations from a neural network instead of relying only on pixel differences.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~2 min
Na tej stronie2 minuty czytania
Przegląd
LPIPS calibrates such feature distances against human similarity judgments, but no score guarantees that every image pair will be judged alike by every viewer.
Głębokie nurkowanie
Tradycyjne straty, takie jak L2 (średni błąd kwadratowy), porównują obrazy piksel po pikselu, więc przesunięcie o jeden piksel lub nieco inna tekstura wygląda na ogromny błąd, chociaż ludzie ledwo go zauważają. Zamiast tego utrata percepcji przepuszcza oba obrazy przez wstępnie wyszkoloną sieć (często VGG) i porównuje aktywacje z warstw pośrednich. Ponieważ te funkcje kodują krawędzie, tekstury i części obiektów, a nie dokładne wartości pikseli, utrata lepiej odpowiada ludzkiej ocenie, zachęcając do ostrych, semantycznie wiernych wyników. LPIPS (ang. Learned Perceptual Image Patch podobieństwo), wprowadzony przez Zhanga i in. w 2018 r. formalizuje to: wyodrębnia głębokie cechy, normalizuje je i stosuje wyuczone wagi skalibrowane na podstawie tysięcy ocen podobieństwa ludzi, tworząc pojedynczy wynik odległości, gdzie niższy oznacza bardziej podobny percepcyjnie.
Implementacja w świecie rzeczywistym
Trenowanie sieci o super rozdzielczości (np. SRGAN), aby przeskalowane zdjęcia wyglądały ostro i miały teksturę, a nie były rozmyte.
Ocena kompresji obrazu i kodeków poprzez ocenę, jak percepcyjnie zdekodowany obraz jest zbliżony do oryginału.
Transfer stylu przewodniego, w którym treść jest dopasowywana za pomocą głębokich funkcji VGG, a nie dokładnych pikseli.
Benchmarking generatorów obrazów GAN i dyfuzyjnych poprzez raportowanie odległości LPIPS między obrazami wygenerowanymi i rzeczywistymi.
Przyszłość utraty percepcji i LPIPS
Metryki percepcyjne przesuwają się ze szkieletów CNN w stronę funkcji z modeli samonadzorowanych i modeli z transformatorami wizyjnymi, takich jak DINO i CLIP, które oddają bogatszą semantykę. Spodziewaj się ściślejszej integracji ze szkoleniem w zakresie modelu dyfuzji i oceną zamiany tekstu na obraz, a także wynikami percepcyjnymi dostosowanymi pod kątem spójności czasowej wideo. Naukowcy badają także słabe punkty LPIPS: można go oszukać kontradyktoryjnie i słabo koreluje z jakością przy bardzo wysokiej wierności, co motywuje do opracowania nowszych wskaźników dostosowanych do człowieka, takich jak DISTS i podejścia zespołowe.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Szybkość i skala. Wizualna sztuczna inteligencja może automatyzować zadania inspekcji, wykrywania i znakowania na dużą skalę.
- Buduj wybory. Zespoły kreatywne mogą szybciej prototypować koncepcje przy mniejszej liczbie ręcznych poprawek.
- Zespół i przepływ pracy. Operacje mogą wykorzystywać sygnały obrazu i wideo, które wcześniej były trudne do przetworzenia.
Uważaj na
- Prawa do wizerunku i zgoda mogą stanowić ryzyko prawne, jeśli pochodzenie jest niejasne.
- Wydajność modelu może się różnić w zależności od oświetlenia, demografii i środowiska.
- Fałszywie pozytywne wyniki mogą pozostać niezauważone, chyba że monitorowane są progi ufności.
Kolejne kroki
- Zdefiniuj kryteria akceptacji dotyczące kosztów precyzji, wycofania i błędów.
- Przetestuj na danych odpowiadających rzeczywistym warunkom produkcyjnym.
- Dodaj weryfikację manualną, aby prognozy były mało pewne lub miały duży wpływ.
- Śledź dryf modelu i przeprowadzaj ponowną weryfikację po zmianie kamery lub zbioru danych.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the Perceptual Loss and LPIPS quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
What is Perceptual Loss and LPIPS?
Perceptual losses compare image representations from a neural network instead of relying only on pixel differences. LPIPS calibrates such feature distances against human similarity judgments, but no score guarantees that every image pair will be judged alike by every viewer.
Dlaczego utrata L2 oparta na pikselach często błędnie ocenia podobieństwo obrazu w porównaniu do utraty percepcji?
L2 bezpośrednio porównuje piksele, więc małe przesunięcia przestrzenne lub różnice w teksturach rejestrują jako duże błędy, nawet jeśli obraz wygląda dobrze dla człowieka.
Co LPIPS przede wszystkim porównuje dwa obrazy?
LPIPS wyodrębnia głębokie aktywacje funkcji ze stałego szkieletu i mierzy ich odległość, która lepiej odpowiada ludzkiej percepcji niż piksele.
Jak określono wagi na kanał w LPIPS?
Nauczono się, że wagi pasują do dużego zbioru danych (BAPPS) ludzkich decyzji dotyczących podobieństwa dwóch alternatywnych rozwiązań z wymuszonym wyborem.
What does a lower LPIPS value indicate for a tested image pair?
LPIPS is calibrated to human similarity judgments, but its distance remains a model-based measure with limitations.
Która sieć szkieletowa jest najczęściej kojarzona z klasyczną utratą percepcji (cech)?
Pośrednie mapy cech VGG stały się standardem w zakresie utraty percepcji w zadaniach takich jak superrozdzielczość i transfer stylu.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat