Résumé
VQGAN dafay tënk nataal yi ci biir benn griy bu ay token yu wuute yuñ jëlee ci benn téere kode buñ jàng, loolu mooy tax transformatër bi defar nataal ni ko modelu làkk yi di defaree mbind.
VQGAN ak Codebook Image Synthesis bokk nañu ci liggéey yiy wane ordinatër, yuy tekki wala defar ay mejaa yuñ mëna gis ngir jàngat, liggéey ak sos lu bees.
Plongeur bu xóot
VQGAN, biñu dugal ci këyitu 2021 bi tuddu 'Transformatëri taming ngir synthese nataal bu am dayo bu kawe,' dafa boole autoencoder buñ xayma ci vecteur (VQVAE) ak tàggat yaram ak xam-xam. Encoder dafay boole nataal ci griy bu ndaw bu am vecteur yu am màndarga; vecteur bu nekk dañu koy jël ci duggal bi gëna jege ci téere kode buñ jàng, lu ci melni, 1024 kode yu wuute, ñu soppi nataal bi ci xeetu token yu mat. Decoder bi dafay tabaxaat nataal bi ci token yooyu, ñu tàggat ko ak discriminateur GAN ak perceptual perceptual suko defee tabaxaat yi di nuru lu ñaw moo gën ñu fësul. Ginaaw nataal yi dañuy nekk ay token yu wuute, transformateur autorégressif mën na leen modele ni làkk, di wax luy waaja am benn-benn. VQGAN dafa siiw lool ci jumtukaayi art yu njëkk yi ñuy soppi bind ci nataal suñu ko boole ak tegtali CLIP.
Gis-gis xarala
Li gëna am solo ci liggéey bi mooy kantite vecteur: génnug encoder bu wéy bi dañu koy wecci ak vecteur codebook bi gëna jege, ak estimatëru gradient bu 'jub' suko defee encoder bi mëna jàng ba leegi doonte seetlu bi mënul wuute. Yokk benn GAN bu sukkandiko ci patch ci kaw autoencoder mooy tax VQGAN jëfandikoo griy token bu gëna ndaw (lu melni 16x16) bu gëna VQVAE ci noonu muy tëye textures yi, def modeling transformateur tractable.
Xam VQGAN ak Codebook nataal
VQGAN dafay tënk nataal yi ci biir benn griy bu ay token yu wuute yuñ jëlee ci benn téere kode buñ jàng, loolu mooy tax transformatër bi defar nataal ni ko modelu làkk yi di defaree mbind. VQGAN ak Codebook Image Synthesis bokk nañu ci liggéey yiy wane ordinatër, yuy tekki wala defar ay mejaa yuñ mëna gis ngir jàngat, liggéey ak sos lu bees. Ngir tabax xam-xam bu xóot, jàppal VQGAN ak Codebook Image Synthesis ni xeetu liggéey, du benn man-man: leeral njariñ yi nga bëgg, leeral xalaat yi, ak tàqale li sistem bi mëna def ci anam wu wóor ak li ba leegi soxla àtteb kàngam.
Ci jëf, ekip yu am doole yiy jëfandikoo VQGAN ak Codebook Image Synthesis dañuy méngale njubte gi ak dëggantaanu liggéey bi, lu ci melni kalite done yi, wuute leeral yi, ak méngoo etiketu. Dañuy bind kritër yu leer ngir am ndam, natt leen ci done yu dëggu ak def liggéey, ba noppi ñu baamtu ci anamu ñàkka mëna seetlu, du ci benn yoon benchmark wins. Mooy barab bi xam-xam theorie bi di soppiku nekk kàttan buy yàgg ci produit yi, ci politik yi ak ci liggéey yi.
Visual IA mën na otomatise saytu, gis ak etiketu liggéey ci eskaal. Ci jamano jooju, yelleefi nataal ak nangu mën na nekk risku yoon sudee fimu bawoo leerul. Xeetu jëf bi gëna dëgër mooy boole gaawaayu jàngat ak disipline nguur: doxal pilote, jàpp firnde, siiwal dogal yi, ak wéy di yeesal kaaraange gi ci anam wi ñuy doxalee, li jëfandikukat bi di xaar, ak sàrti sàrt yi di jëm kanam.
njeextalu pexe
Visual IA mën na otomatise saytu, gis ak etiketu liggéey ci eskaal.
Visual IA mën na otomatise saytu, gis ak etiketu liggéey ci eskaal. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Ekipu kreatif yi mën nañu defar konsept yu gëna gaaw te duñu def lu bari ci loxo.
Ekipu kreatif yi mën nañu defar konsept yu gëna gaaw te duñu def lu bari ci loxo. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Liggéeyukaay yi mën nañu jëfandikoo siñaal nataal wala wideo yu jafewoon lool ci liggéey.
Liggéeyukaay yi mën nañu jëfandikoo siñaal nataal wala wideo yu jafewoon lool ci liggéey. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Doxal ci àdduna dëgg
Kodage ab nataal ci biir benn griy bu 16x16 ci jetons codebook suko defee transformateur bi mëna ko modele ak defaraat ko
boole VQGAN ak njiitu CLIP ngir defar 'VQGAN+CLIP' art IA bu siiw ci 2021
Komprime nataal yi ci ay kod diskret yu kompact ngir dencukaay bu baax wala tàggat yaram buy génne
Liggéey ni tokenisatëru nataal ci biir generatër yu gëna mag yu lalu ci token yu melni MaskGIT ak transformatër yu bari
Modèlu jëfandikoo
VQGAN ak Codebook nataal ci jëf
Kodage ab nataal ci biir benn griy 16x16 ci ay jeton codebook suko defee transformateur bi mëna ko modele ak defaraat ko.
Kodage ab nataal ci benn griy 16x16 bu jetons codebook suko defee ab transformateur mëna modele ak defaraat ko Teams yi dañuy faral di am njariñ yu gëna baax suñu joxee thresholds yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit ak njëgu njuumte ci diir bi.
VQGAN ak Codebook nataal ci jëf
Yokk VQGAN ak njiitu CLIP ngir defar 'VQGAN+CLIP' art IA bu siiw ci 2021.
Teg VQGAN ak njiitu CLIP ngir sos surreal 'VQGAN + CLIP' art AI bi dem viral ci 2021 Ekip yi dañuy faral di am njariñ yu gëna baax suñu joxee ay kalite ci kanam, tëye yoonu eskalaasioŋ nit ngir jafe-jafe yi, ba noppi topp njariñu liggéey ak njëgu njuumte ci diir bi.
VQGAN ak Codebook nataal ci jëf
Komprime nataal yi ci ay kod diskret yu kompact ngir dencukaay bu baax wala tàggat yaram buy génne ay mbir.
Komprime nataal yi ci kode diskret yu kompact ngir dencukaay bu baax wala tàggat generatif ci suufu ekip yi dañuy faral di am njariñ yu gëna baax suñu joxee threshold yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit ak njëgu njuumte ci diir bi.
VQGAN ak Codebook nataal ci jëf
Dafay liggéey ni tokenizer nataal ci biir generatër yu gëna mag yu lalu ci token yu melni MaskGIT ak transformatër yu bari.
Liggéeyukaay tokenizer nataal ci biir generatër yu gëna mag yu melni MaskGIT ak transformatër multimodal Ekip yi dañuy faral di am njariñ yu gëna baax suñu joxee threshold yu baax ci kanam, tëye yoonu escalation nit ngir mbir yu am solo, ba noppi topp njariñu produit ak njëgu njuumte ci diir bi.
Risk yi ak balustrade yi
Yelleefi nataal ak nangu mën na nekk risku yoon sudee fi ñu bawoo leerul.
Performance model bi mën na wuute ci leeraay bi, demographie bi ak environmaa bi.
Njuumteg positive yi mën nañu dem te kenn duko seetlu fileek xool wuñu buntu wóolu sa bopp.
Roadmap ngir samp gi
Mandargal kritërium nangug njub, woowaat ak njëgu njuumte.
Mandargal kritërium nangug njub, woowaat ak njëgu njuumte. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppalu génne gi, tëj bërëb bi, ba noppi yokk jëfandikoo gi.
Saytu ak done yu méngoo ak anam yi ñuy liggéeyee dëgg.
Saytu ak done yu méngoo ak anam yi ñuy liggéeyee dëgg. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppalu génne gi, tëj bërëb bi, ba noppi yokk jëfandikoo gi.
Yokk jàngat nit ngir xam fu wóorul dara wala am njeexital yu rëy.
Yokk jàngat nit ngir xam fu wóorul dara wala am njeexital yu rëy. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppalu génne gi, tëj bërëb bi, ba noppi yokk jëfandikoo gi.
Toppal model drift bi nga baaxal ko ginaaw bi kamera bi wala done yi soppeekoo.
Toppal model drift bi nga baaxal ko ginaaw bi kamera bi wala done yi soppeekoo. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppalu génne gi, tëj bërëb bi, ba noppi yokk jëfandikoo gi.