Kupoteza Mtazamo na LPIPs
Kupoteza fahamu hupima jinsi picha mbili zinazofanana zinavyoonekana kwa wanadamu kwa kulinganisha vipengele vya kina vya mtandao wa neva badala ya saizi mbichi.
Muhtasari
It matters because pixel-by-pixel comparison wrongly punishes tiny shifts and blurs detail, while perceptual loss rewards sharp, realistic results.
Dive ya kina
Hasara za kitamaduni kama vile L2 (maana ya hitilafu ya mraba) hulinganisha picha za pikseli-kwa-pixel, ili mabadiliko ya pikseli moja au umbile tofauti kidogo inaonekana kama hitilafu kubwa ingawa wanadamu hawatambui. Upotevu wa utambuzi badala yake huendesha picha zote mbili kupitia mtandao uliofundishwa (mara nyingi VGG) na kulinganisha kuwezesha kutoka kwa safu za kati. Kwa sababu vipengele hivyo husimba kingo, maumbo na sehemu za kitu badala ya thamani halisi za pikseli, hasara hiyo inalingana vyema na uamuzi wa binadamu, ikihimiza matokeo makali na ya uaminifu kisemantiki. LPIPS (Ulinganifu wa Kiraka cha Picha ya Kihisia Iliyojifunza), ilianzishwa na Zhang et al. mnamo 2018, inarasimisha hili: inatoa vipengele vya kina, kuvifanya kuwa vya kawaida, na kutumia uzani uliofunzwa uliosawazishwa dhidi ya maelfu ya hukumu za ufanano za binadamu, na kutoa alama moja ya umbali ambapo chini inamaanisha kuwa sawa kimawazo.
Ufahamu wa Kiufundi
LPIPS hupitisha picha zote mbili kupitia uti wa mgongo usiobadilika (VGG, AlexNet, au SqueezeNet), kitengo-hurekebisha uanzishaji wa kituo katika safu kadhaa, kisha huchukua tofauti ya mraba katika kila eneo la anga. Seti ndogo ya uzani uliojifunza kwa kila kituo hupima tofauti hizo kabla hazijakadiriwa kwa nafasi na kujumlishwa katika tabaka. Vipimo hivyo vilifunzwa kwenye mkusanyiko wa data wa BAPPS wa maamuzi ya chaguo-mbili-badala-ya kulazimishwa ya binadamu, kwa hivyo kipimo kinaonyesha kile ambacho watu huona haswa badala ya umbali wa kipengele ghafi.
Athari za kimkakati
Kasi na kiwango
Visual AI inaweza kufanya ukaguzi, ugunduzi na kazi za kuweka lebo kiotomatiki kwa kiwango.
Tengeneza chaguzi
Timu bunifu zinaweza kuiga dhana kwa haraka zaidi na masahihisho machache ya mikono.
Timu na mtiririko wa kazi
Uendeshaji unaweza kutumia ishara za picha na video ambazo hapo awali zilikuwa ngumu kuchakata.
Mustakabali wa Upotevu wa Kihisia na LPIPs
Vipimo vya utambuzi vinahama kutoka kwa uti wa mgongo wa CNN kuelekea vipengele kutoka kwa miundo inayojisimamia na kubadilisha maono kama vile DINO na CLIP, ambayo hunasa semantiki bora zaidi. Tarajia muunganisho mkali zaidi na mafunzo ya modeli ya uenezaji na tathmini ya maandishi kwa picha, pamoja na alama za utambuzi zilizopangwa kwa uthabiti wa muda wa video. Watafiti pia wanachunguza sehemu zisizoeleweka za LPIPS: inaweza kudanganywa kwa uhasama na inahusiana hafifu na ubora kwa uaminifu wa juu sana, ikihamasisha metriki mpya zaidi zinazolingana na binadamu kama vile DISTS na mbinu za kuunganisha.
Utekelezaji wa Ulimwengu Halisi
Kufunza mitandao yenye azimio kuu (k.m., SRGAN) ili picha za hali ya juu zionekane kali na zenye muundo badala ya ukungu.
Kutathmini mbano wa picha na kodeki kwa kupata alama ya jinsi taswira iliyosimbuliwa ilivyo karibu na ya asili.
Uhamishaji wa mtindo unaoongoza, ambapo maudhui yanalinganishwa kupitia vipengele vya kina vya VGG badala ya pikseli halisi.
Kulinganisha GAN na jenereta za taswira kwa kuripoti umbali wa LPIPS kati ya picha zinazozalishwa na halisi.
Hatari & Walinzi
Haki za picha na idhini zinaweza kuwa hatari za kisheria ikiwa asili haiko wazi.
Utendaji wa muundo unaweza kutofautiana katika mwangaza, idadi ya watu na mazingira.
Chanya za uwongo zinaweza kutotambuliwa isipokuwa viwango vya uaminifu vifuatiliwe.
Ramani ya Utekelezaji
Bainisha vigezo vya kukubalika vya usahihi, kumbukumbu na gharama za makosa.
Jaribu kwa kutumia data inayolingana na hali halisi ya uzalishaji.
Ongeza ukaguzi wa kibinadamu kwa utabiri wa chini au utabiri wa athari kubwa.
Fuatilia mtindo wa kuteleza na uthibitishe upya baada ya mabadiliko ya kamera au mkusanyiko wa data.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Perceptual Loss and LPIPS quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Upotezaji wa Kuzingatia kwa Utambuzi Usio na Usawazishaji
Maswali yanayoulizwa mara kwa mara
What is Perceptual Loss and LPIPS?
Kupoteza fahamu hupima jinsi picha mbili zinazofanana zinavyoonekana kwa wanadamu kwa kulinganisha vipengele vya kina vya mtandao wa neva badala ya saizi mbichi. Ni muhimu kwa sababu ulinganisho wa pikseli kwa pikseli huadhibu kimakosa mabadiliko madogo na kutia ukungu maelezo, huku hasara ya kiakili huthawabisha matokeo makali na halisi.
Kwa nini upotezaji wa L2 unaotegemea pixel mara nyingi huhukumu kimakosa kufanana kwa picha ikilinganishwa na upotezaji wa utambuzi?
L2 inalinganisha pikseli moja kwa moja, kwa hivyo mabadiliko madogo ya anga au tofauti za maandishi husajili kama makosa makubwa hata wakati picha inaonekana sawa kwa mtu.
LPIP inalinganisha nini kimsingi kati ya picha mbili?
LPIPS huchota kuwezesha vipengele vya kina kutoka kwa uti wa mgongo usiobadilika na kupima umbali wao, ambao unalingana vyema na mtizamo wa binadamu kuliko pikseli.
Vipimo vya kila chaneli katika LPIPS viliamuliwaje?
Vipimo vilifunzwa kuendana na mkusanyiko mkubwa wa data (BAPPS) wa maamuzi ya kufanana ya binadamu ya njia mbili-badala-ya kulazimishwa.
Ni mtandao upi wa uti wa mgongo unaohusishwa zaidi na upotevu wa kawaida wa utambuzi (kipengele)?
Ramani za kipengele cha kati za VGG zimekuwa kiwango cha upotevu wa utambuzi katika kazi kama vile azimio bora zaidi na uhamishaji wa mitindo.
Ni kazi gani inafaidika moja kwa moja kwa kutumia upotezaji wa utambuzi badala ya L2 safi?
Mitandao yenye azimio bora zaidi iliyofunzwa kwa upotevu wa utambuzi hutoa maumbo makali zaidi, halisi zaidi, ilhali L2 huelekea kutoa wastani usio wazi.