Isonu Iro ati LPIPS
Pipadanu oye ṣe iwọn bii awọn aworan meji ti o jọra ṣe n wo si eniyan nipa ifiwera awọn ẹya nẹtiwọọki ti o jinlẹ dipo awọn piksẹli aise.
Akopọ
It matters because pixel-by-pixel comparison wrongly punishes tiny shifts and blurs detail, while perceptual loss rewards sharp, realistic results.
Jin Dive
Awọn adanu aṣa bii L2 (aṣiṣe onigun mẹrin tumọ si) ṣe afiwe awọn aworan pixel-nipasẹ-piksẹli, nitorinaa iyipada piksẹli kan tabi awoara ti o yatọ die-die dabi aṣiṣe nla paapaa botilẹjẹpe eniyan ko ni akiyesi. Pipadanu oye dipo ṣiṣe awọn aworan mejeeji nipasẹ nẹtiwọọki iṣaaju (nigbagbogbo VGG) ati ṣe afiwe awọn iṣẹ ṣiṣe lati awọn ipele agbedemeji. Nitoripe awọn ẹya wọnyẹn ṣe koodu awọn egbegbe, awọn awoara, ati awọn ẹya ohun dipo awọn iye piksẹli deede, pipadanu naa ṣe deede dara julọ pẹlu idajọ eniyan, iwuri didasilẹ, awọn abajade otitọ ni itumọ. LPIPS (Ibajọra Aworan Patch Iro ti Kọ), ti a ṣe nipasẹ Zhang et al. ni 2018, formalizes yi: o jade jin awọn ẹya ara ẹrọ, normalizes wọn, ati ki o kan eko òṣuwọn calibrated lodi si egbegberun eda eniyan idajo, producing kan nikan ijinna Dimegilio ibi ti kekere tumo si siwaju sii perceptually bakanna.
Imọ-imọ-ẹrọ
LPIPS kọja awọn aworan mejeeji nipasẹ ẹhin ti o wa titi (VGG, AlexNet, tabi SqueezeNet), ẹyọkan-ṣe deede awọn imuṣiṣẹ ikanni ni awọn ipele pupọ, lẹhinna gba iyatọ onigun mẹrin ni ipo aye kọọkan. Eto kekere ti awọn iwuwo ikanni kọọkan ṣe iwọn awọn iyatọ wọnyẹn ṣaaju ki wọn jẹ aropin ni aye ati akopọ kọja awọn fẹlẹfẹlẹ. Awọn iwuwo wọnyẹn ni ikẹkọ lori iwe data BAPPS ti awọn idajọ yiyan-iyanju-meji ti eniyan, nitorinaa metiriki ṣe afihan ohun ti eniyan rii gangan kuku ju ijinna ẹya aise lọ.
Ipa Ilana
Iyara ati iwọn
Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn.
Kọ awọn yiyan
Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ.
Ojo iwaju ti Ipadanu Iro ati LPIPS
Awọn metiriki oye ti n yipada lati awọn ẹhin CNN si awọn ẹya lati abojuto ti ara ẹni ati awọn awoṣe oluyipada iran bi DINO ati CLIP, eyiti o mu awọn atunmọ ọrọ mu. Reti isọpọ titọ pẹlu ikẹkọ awoṣe-itankalẹ ati igbelewọn ọrọ-si-aworan, pẹlu awọn ikun oye ti aifwy fun aitasera akoko fidio. Awọn oniwadi tun n ṣe iwadii awọn aaye afọju LPIPS: o le jẹ aṣiwere ni ilodisi ati ailagbara ni ibamu pẹlu didara ni iṣotitọ ti o ga pupọ, ti nfa awọn metiriki ibaramu eniyan tuntun bii DISTS ati awọn isunmọ akojọpọ.
Real-World imuse
Awọn nẹtiwọọki ipinnu-giga ikẹkọ (fun apẹẹrẹ, SRGAN) nitorina awọn fọto ti o ga soke dabi didasilẹ ati ifojuri kuku ju blurry.
Iṣirowọn funmorawon aworan ati awọn kodẹki nipa titọka bi iwoye ṣe sunmọ aworan ti a yipada si atilẹba.
Gbigbe ara itọsọna, nibiti akoonu ti baamu nipasẹ awọn ẹya VGG jin kuku ju awọn piksẹli deede.
Benchmarking GAN ati awọn olupilẹṣẹ aworan kaakiri nipasẹ jijabọ ijinna LPIPS laarin awọn aworan ti ipilẹṣẹ ati gidi.
Awọn ewu & Awọn ọna iṣọ
Awọn ẹtọ aworan ati igbanilaaye le di awọn eewu labẹ ofin ti o ba jẹ afihan.
Iṣe awoṣe le yatọ kọja ina, awọn ẹda eniyan, ati awọn agbegbe.
Awọn idaniloju eke le ma ṣe akiyesi ayafi ti a ba ṣe abojuto awọn ala igbẹkẹle.
Ilana Ilana imuse
Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe.
Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi.
Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga.
Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Perceptual Loss and LPIPS quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Pipadanu Idojukọ fun Wiwa Aiṣedeede
Awọn ibeere ti a beere nigbagbogbo
What is Perceptual Loss and LPIPS?
Pipadanu oye ṣe iwọn bii awọn aworan meji ti o jọra ṣe n wo si eniyan nipa ifiwera awọn ẹya nẹtiwọọki ti o jinlẹ dipo awọn piksẹli aise. O ṣe pataki nitori lafiwe pixel-nipasẹ-piksẹli ni aṣiṣe jiya awọn iyipada kekere ati awọn alaye blurs, lakoko ti ipadanu oye san ere didasilẹ, awọn abajade ojulowo.
Kini idi ti ipadanu L2 ti o da lori piksẹli nigbagbogbo ṣe aṣiṣe ibajọra aworan ni akawe si ipadanu oye?
L2 ṣe afiwe awọn piksẹli taara, nitorinaa awọn iyipada aye kekere tabi awọn iyatọ sojurigindin forukọsilẹ bi awọn aṣiṣe nla paapaa nigbati aworan ba dara si eniyan.
Kini LPIPS ni akọkọ ṣe afiwe laarin awọn aworan meji?
LPIPS yọkuro awọn iṣẹ ṣiṣe ẹya ti o jinlẹ lati ẹhin ti o wa titi ati ṣe iwọn ijinna wọn, eyiti o ṣe deede dara julọ pẹlu iwoye eniyan ju awọn piksẹli lọ.
Bawo ni a ṣe pinnu awọn iwuwo ikanni kọọkan ni LPIPS?
Awọn òṣuwọn naa ni a kọ ẹkọ lati baramu dataset nla kan (BAPPS) ti awọn ipinnu ibajọra-fipa-meji-ami-iyan eniyan.
Nẹtiwọọki ẹhin wo ni o wọpọ julọ pẹlu pipadanu oye (ẹya-ara) Ayebaye?
Awọn maapu ẹya agbedemeji VGG di boṣewa fun pipadanu oye ninu awọn iṣẹ ṣiṣe bii ipinnu-giga ati gbigbe ara.
Eyi ti iṣẹ-ṣiṣe julọ taara anfani lati a lilo perceptual pipadanu dipo ti funfun L2?
Awọn nẹtiwọọki ti o ga julọ ti ikẹkọ pẹlu ipadanu oye ṣe agbejade didasilẹ, awọn awoara ojulowo diẹ sii, lakoko ti L2 duro lati ṣe agbejade awọn iwọn blurry.