LegközelebbKövetkező útmutató
Perceptual Hashing for Near-Duplicate Images
Vizuális AI
Vizuális MI ÚTMUTATÓ
Perceptual losses compare image representations from a neural network instead of relying only on pixel differences.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
LPIPS calibrates such feature distances against human similarity judgments, but no score guarantees that every image pair will be judged alike by every viewer.
A hagyományos veszteségek, mint például az L2 (átlagos négyzetes hiba) pixelről pixelre hasonlítják össze a képeket, így az egy pixeles eltolódás vagy egy kissé eltérő textúra óriási hibának tűnik, még akkor is, ha az emberek alig veszik észre. Az észlelési veszteség ehelyett mindkét képet egy előre betanított hálózaton (gyakran VGG-n) futtatja, és összehasonlítja a közbenső rétegekből származó aktiválásokat. Mivel ezek a funkciók éleket, textúrákat és objektumrészeket kódolnak, nem pedig pontos pixelértékeket, a veszteség jobban illeszkedik az emberi ítélőképességhez, ami éles, szemantikailag hű kimeneteket ösztönöz. LPIPS (Learned Perceptual Image Patch hasonlóság), amelyet Zhang et al. 2018-ban ezt formalizálja: kivonja a mély jellemzőket, normalizálja azokat, és tanult súlyokat alkalmaz több ezer emberi hasonlósági ítélethez képest, így egyetlen távolságpontszámot állít elő, ahol az alacsonyabb érzékelési szempontból jobban hasonlít.
A szuperfelbontású hálózatok (pl. SRGAN) betanítása, így a felskálázott fotók inkább élesek és texturáltak, mint elmosódottak.
A képtömörítés és kodekek értékelése annak értékelésével, hogy a dekódolt kép mennyire közel áll az eredetihez.
Irányadó stílusátvitel, ahol a tartalom a pontos képpontok helyett mély VGG-funkciókon keresztül illeszkedik.
A GAN és a diffúziós képgenerátorok összehasonlítása a generált és a valós képek közötti LPIPS távolság jelentésével.
Az észlelési mérőszámok a CNN gerinchálózatától az önfelügyelt és látástranszformátor modellek, például a DINO és a CLIP funkciók felé tolódnak el, amelyek gazdagabb szemantikát rögzítenek. Szorosabb integrációra számíthat a diffúziós modell képzésével és a szöveg-kép kiértékeléssel, valamint a videó időbeli konzisztenciájára hangolt észlelési pontszámokkal. A kutatók az LPIPS vakfoltjait is vizsgálják: ellenségesen megtéveszthető, és nagyon nagy pontosság mellett gyengén korrelál a minőséggel, motiválva az újabb, emberhez igazodó mérőszámokat, mint például a DISTS és az ensemble megközelítések.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
Perceptual losses compare image representations from a neural network instead of relying only on pixel differences. LPIPS calibrates such feature distances against human similarity judgments, but no score guarantees that every image pair will be judged alike by every viewer.
Az L2 közvetlenül összehasonlítja a képpontokat, így a kis térbeli eltolódások vagy textúra-különbségek akkor is nagy hibaként jelentkeznek, ha a kép jól néz ki az ember számára.
Az LPIPS egy rögzített gerincből vonja ki a mély funkciók aktiválását, és méri a távolságukat, ami jobban illeszkedik az emberi észleléshez, mint a pixelek.
A súlyokat megtanulták, hogy megfeleljenek egy nagy adathalmaznak (BAPPS), amely az emberi kétalternatíva-kényszer-választás hasonlósági döntéseit tartalmazza.
LPIPS is calibrated to human similarity judgments, but its distance remains a model-based measure with limitations.
A VGG köztes jellemzőtérképei az észlelési veszteség szabványává váltak olyan feladatoknál, mint a szuperfelbontás és a stílusátvitel.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Perceptual Hashing for Near-Duplicate Images
Vizuális AI