Visual AI GUIDE

Mfu nghọta na LPIPS

Ọnwụ nghọta na-atụ ka onyonyo abụọ yiri nke ahụ si ele mmadụ anya site n'ịtụle njirimara netwọkụ akwara dị omimi kama ịbụ pikselụ.

Nchịkọta

Ọnwụ nghọta na-atụ ka onyonyo abụọ yiri nke ahụ si ele mmadụ anya site n'ịtụle njirimara netwọkụ akwara dị omimi kama ịbụ pikselụ. Ọ dị mkpa n'ihi na ntụnyere pikselụ-site-pixel na-ata ahụhụ n'ụzọ na-ezighi ezi na-ata obere mgbanwe na nhụsianya nkọwa, ebe mfu nghọta na-akwụghachi ụgwọ dị nkọ, nsonaazụ ezi uche dị na ya.

Nhụta nghọta na LPIPS bụ nke na-arụ ọrụ n'ọhụụ kọmputa nke na-akọwa ma ọ bụ mepụta mgbasa ozi anya maka nyocha, ọrụ na imepụta ihe.

Ime miri emi

Ọnwụ ọdịnala dị ka L2 ( pụtara squared njehie) tụnyere ihe oyiyi pixel-by-pixel, yabụ ngbanwe otu pikselụ ma ọ bụ udidi dịtụ iche dị ka nnukwu njehie n'agbanyeghị na ụmụ mmadụ anaghị achọpụta. Ọnwụ nhụta kama na-eme onyonyo abụọ ahụ site na netwọk a zụrụ azụ (na-abụkarị VGG) ma na-atụnyere mmemme sitere na ọkwa etiti. N'ihi na njirimara ndị ahụ na-edobe akụkụ, textures na akụkụ ihe karịa kpọmkwem ụkpụrụ pikselụ, mfu ahụ dabara nke ọma na mkpebi mmadụ, na-agba ume dị nkọ, nke kwesị ntụkwasị obi. LPIPS (Myiri Nhụta Amụma Amụtara), nke Zhang et al webatara. na 2018, formalizes nke a: ọ extracts miri atụmatụ, normalizes ha, na-etinye amụtara arọ calibrated megide ọtụtụ puku mmadụ myirịta ikpe, na-emepụta otu anya akara ebe ala pụtara ọzọ nghọta n'otu n'otu.

Nghọta nka nka

LPIPS na-agafe onyonyo abụọ ahụ site na ọkpụkpụ azụ (VGG, AlexNet, ma ọ bụ SqueezeNet), otu-na-emezigharị ọrụ ọwa n'ọtụtụ ọkwa, wee were ọdịiche dị squared n'ọnọdụ ọ bụla. Obere ihe ọ̀tụ̀tụ̀ ọ̀tụ̀tụ̀ ọ̀tụ̀tụ̀ ọ̀tụ̀tụ̀ ọ̀tụ̀tụ̀ ọ̀tụ̀tụ̀ ọ̀tụ̀tụ̀ ọ̀tụ̀tụ̀ ọ̀tụ̀tụ̀ ọ̀tụ̀tụ̀ ọ̀tụ̀tụ̀ ọ̀tụ̀tụ̀ ọ̀tụ̀tụ̀ ọ bụla a mụtara na-atụle ndịiche ndị ahụ tupu a chịkọta ya n'ụzọ zuru ezu ma chịkọta ya n'ofe. A zụrụ ihe ọ̀tụ̀tụ̀ ndị ahụ na dataset BAPPS nke mmadụ abụọ-ọzọ mmanye-nhọpụta mmadụ, ya mere metrik ahụ na-egosipụta ihe ndị mmadụ na-aghọta n'ezie kama ịdị anya njirimara.

Ịmụta mfu nghọta na LPIPS

Ọnwụ nghọta na-atụ ka onyonyo abụọ yiri nke ahụ si ele mmadụ anya site n'ịtụle njirimara netwọkụ akwara dị omimi kama ịbụ pikselụ. Ọ dị mkpa n'ihi na ntụnyere pikselụ-site-pixel na-ata ahụhụ n'ụzọ na-ezighi ezi na-ata obere mgbanwe na nhụsianya nkọwa, ebe mfu nghọta na-akwụghachi ụgwọ dị nkọ, nsonaazụ ezi uche dị na ya. Nhụta nghọta na LPIPS bụ nke na-arụ ọrụ n'ọhụụ kọmputa nke na-akọwa ma ọ bụ mepụta mgbasa ozi anya maka nyocha, ọrụ na imepụta ihe. Iji wulite nghọta miri emi, na-emeso Perceptual Loss na LPIPS dị ka ihe nlereanya na-arụ ọrụ, ọ bụghị otu njirimara: kọwaa nsonaazụ achọrọ, dokwuo anya echiche, ma kewaa ihe sistemụ nwere ike ime nke ọma na ihe ka na-achọ mkpebi ndị ọkachamara.

Na omume, ndị otu siri ike na-eji Perceptual Loss na LPIPS nguzozi ziri ezi na eziokwu arụ ọrụ dị ka ogo data, iche iche ọkụ, na ịdekọ aha. Ha na-edepụta njirisi ịga nke ọma nke ọma, nwalee megide data ziri ezi yana usoro ọrụ, yana na-atụgharị dabere na usoro ọdịda ahụrụ karịa karịa mmeri otu oge. Nke a bụ ebe nghọta usoro ihe atụ na-atụgharị ghọọ ike na-adịgide adịgide n'ofe ngwaahịa, amụma na arụmọrụ.

Visual AI nwere ike megharịa nyocha, nchọpụta na mkpado ọrụ n'ọtụtụ. N'otu oge ahụ, ikike onyonyo na nkwenye nwere ike bụrụ ihe egwu iwu ma ọ bụrụ na edoghị anya. Ụzọ kachasị na-agbanwe agbanwe bụ ijikọ ọsọ nnwale na ịdọ aka ná ntị ọchịchị: ndị na-anya ụgbọ elu, ijide ihe akaebe, bipụta ndekọ mkpebi, na na-aga n'ihu na-emelite nchekwa dị ka omume nlereanya, atụmanya ndị ọrụ, na ihe iwu chọrọ.

Mmetụta atụmatụ

Visual AI nwere ike megharịa nyocha, nchọpụta na mkpado ọrụ n'ọtụtụ.

Visual AI nwere ike megharịa nyocha, nchọpụta na mkpado ọrụ n'ọtụtụ. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.

Otu ndị na-emepụta ihe nwere ike imepụta echiche ngwa ngwa site na ngbanwe akwụkwọ ntuziaka ole na ole.

Otu ndị na-emepụta ihe nwere ike imepụta echiche ngwa ngwa site na ngbanwe akwụkwọ ntuziaka ole na ole. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.

Ọrụ nwere ike iji onyonyo na akara vidiyo siri ike ịhazi.

Ọrụ nwere ike iji onyonyo na akara vidiyo siri ike ịhazi. N'ịkwanye ọkwa dị elu, a na-atụgharị nke a ka ọ bụrụ iwu arụ ọrụ enwere ike ịtụnye, oke nwe, na emume ntụlegharị ugboro ugboro ka ndị otu wee nwee ike ịbawanye ntụkwasị obi kama iwelite enweghị mgbagha.

Ọdịnihu nke mfu nghọta na LPIPS

Metiriki nghọta na-agbanwe site na azụ azụ CNN gaa na njirimara sitere na ụdị onye na-elekọta onwe ya yana ihe ntụgharị ọhụụ dị ka DINO na CLIP, nke na-ejide usoro ọmụmụ bara ụba. Na-atụ anya mwekota siri ike site na nkuzi ụdị mgbasa ozi yana nlebanya ederede gaa na onyonyo, gbakwunyere akara nghọta na-ege ntị maka ngbanwe oge vidiyo. Ndị na-eme nchọpụta na-enyochakwa ntụpọ kpuru ìsì LPIPS: enwere ike ịghọgbu ya na mmegide na adịghị ike na-ejikọta ya na ịdịmma na ntụkwasị obi dị elu, na-akpali metrics ndị mmadụ na-ejikọta ọhụrụ dị ka DISTS na usoro nchịkọta.

Mmejuputa n'ezie n'ụwa

Ọzụzụ netwọkụ nwere mkpebi siri ike (dịka, SRGAN) foto ndị gbagoro agbago na-adị nkọ ma na-edobe anya karịa ka ọ dị nkọ.

Na-enyocha mkpakọ onyonyo na codecs site n'ịtụle ka nlebara anya na-emechi onyonyo emepụtara na nke izizi.

Nbufe ụdị na-eduzi, ebe a na-ejikọta ọdịnaya site na njirimara VGG dị omimi kama ịbụ pikselụ.

Benchmarking GAN na ndị na-emepụta ihe onyonyo na-ekesa site n'ịkọwa anya LPIPS n'etiti onyonyo emepụtara na nke adịchaghị.

Usoro mmejuputa

Mfu nghọta na LPIPS na omume

Ọzụzụ netwọkụ nwere mkpebi siri ike (dịka, SRGAN) foto ndị gbagoro agbago na-adị nkọ ma na-edobe anya karịa ka ọ dị nkọ.

Ọzụzụ netwọkụ nwere mkpebi siri ike (dịka, SRGAN) foto ndị dị elu na-adị nkọ ma na-edobe anya karịa otu ndị na-adịghị ahụkebe na-enwetakarị nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-eme ka ụzọ mmadụ si abawanye maka ọnụ okwu, ma soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.

Mfu nghọta na LPIPS na omume

Na-enyocha mkpakọ onyonyo na codecs site n'ịtụle ka nlebara anya na-emechi onyonyo emepụtara na nke izizi.

Nyochaa mkpakọ onyonyo na codecs site n'ịtụle ka nghọta na-emechi onyonyo decoded bụ na mbụ Otu egwuregwu na-enweta nsonaazụ kacha mma mgbe ha kọwapụta ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka ikpe ọnụ, wee soro ma uru nrụpụta na ụgwọ njehie n'ime oge.

Mfu nghọta na LPIPS na omume

Nbufe ụdị na-eduzi, ebe a na-ejikọta ọdịnaya site na njirimara VGG dị omimi kama ịbụ pikselụ.

Nbufe ụdị na-eduzi, ebe ọdịnaya jikọtara site na njirimara VGG miri emi kama ịbụ kpọmkwem pikselụ Otu dị iche iche na-enweta nsonaazụ kacha mma mgbe ha na-akọwapụta ọnụ ụzọ dị mma n'ihu, na-echekwa ụzọ mmụba mmadụ maka ikpe ọnụ, ma soro ma uru nrụpụta yana ụgwọ njehie n'ime oge.

Mfu nghọta na LPIPS na omume

Benchmarking GAN na ndị na-emepụta ihe onyonyo na-ekesa site n'ịkọwa anya LPIPS n'etiti onyonyo emepụtara na nke adịchaghị.

Benchmarking GAN na ndị na-emepụta ihe onyonyo mgbasa ozi site n'ịkọwa anya LPIPS dị n'etiti ihe onyonyo emepụtara na nke bụ ezie Otu dị iche iche na-enweta nsonaazụ kacha mma mgbe ha kọwapụtara ọnụ ụzọ dị mma n'ihu, debe ụzọ mmụba mmadụ maka ikpe ikpe, ma soro ma uru nrụpụta yana ụgwọ njehie na oge.

Ihe ize ndụ & okporo ụzọ nche

!

Ikike onyonyo na nkwenye nwere ike bụrụ ihe egwu dị n'iwu ma ọ bụrụ na edoghị anya.

!

Ọrụ nlereanya nwere ike ịdịgasị iche n'ofe ọkụ, igwe mmadụ, na gburugburu.

!

Enwere ike ghara ịhụ ihe dị mma ma ọ bụrụ na enyochaghị oke ntụkwasị obi.

Map mmejuputa

1

Kọwaa ụkpụrụ nnabata maka nkenke, icheta, na ụgwọ njehie.

Kọwaa ụkpụrụ nnabata maka nkenke, icheta, na ụgwọ njehie. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.

2

Nwalee na data dabara na ọnọdụ mmepụta n'ezie.

Nwalee na data dabara na ọnọdụ mmepụta n'ezie. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.

3

Tinye nyocha mmadụ maka obere obi ike ma ọ bụ amụma mmetụta dị elu.

Tinye nyocha mmadụ maka obere obi ike ma ọ bụ amụma mmetụta dị elu. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.

4

Sochie ihe nlere anya wee megharịa ka emechara mgbanwe igwefoto ma ọ bụ dataset.

Sochie ihe nlere anya wee megharịa ka emechara mgbanwe igwefoto ma ọ bụ dataset. Mesoo nzọụkwụ ọ bụla dị ka ọnụ ụzọ akaebe: ọ bụrụ na emezughị ụkpụrụ, kwụsịtụ mbugharị, mechie oghere ahụ, naanị wee gbasaa ojiji.

Nọgide na-eme nchọpụta