Résumé
VQ-VAE dafay tënk nataal yi, audio yi wala wideo yi ci benn griy bu ndaw bu am kod yu wuute yuñ jëlee ci téere kode buñ jàng, ci barabu nimero yu wéy. Bottleneck bu nëbbu bi dafay may model yu am doole yu melni Transformers ñu jàppee media yi ni ay 'token', lu melni kàddu.
VQ-VAE ak Discrete Latents bokk nañu ci liggéey yiy wane ordinatër, yuy tekki wala defar ay mejaa yuñ mëna gis ngir jàngat, liggéey ak sos lu bees.
Plongeur bu xóot
VQ-VAE (Vecteur encodeur variationnel), van den Oord ak ay naataangoom ci DeepMind ñoo ko dugal ci 2017, encodeur la bu am bayaal bu nëbbu. Encoder dafay soppi nataal bi mu nekk griy bu am vecteur yu wéy; vecteur bu nekk dañu koy boole ci duggam bi gëna jege ci téere kode buñ jàng ci embeddings (quantisation vecteur). Decodeur bi dafay defaraat nataal bi ci kode kantise yooyu. Ginaaw latent yi leegi vocabulaire bu am àpp lañu ci indices yi, model bu wuute mën na jàng seen distribution ba noppi defar ëmbiit bu bees. Bii rëset bu am ñaari etap dafay dooleel DALL-E 1, Jukebox ngir music, ak VQGAN, loolu dafay yokk ñàkka xam ak xeex ngir tabaxaat yu gëna ñaw. VQ-VAE-2 dafa boole resolusioŋ yu bari ngir génne nataal yu dëggu.
Gis-gis xarala
Jéego kantite (argmin seet dëkkandoo bi gëna jege) mënul wuutale, moo tax VQ-VAE dafay jëfandikoo estimatër bu jub: gradient yi dañu leen kopie ci duggal dekodeer bi dellu ci génnug enkodeer bi melni kantite bi mooy dàntite bi. Taggat dafay boole ñàkka tabaxaat, ñàkka am codebook di xëcc embeddings yi ci encoder biy génn, ak ñàkka def encoder bi di tëye kode yi mu tànn. Benn ci jafe-jafe yiy faral di am mooy codebook bi dafay daanu, ndax kode yu néew rek lañuy jëfandikoo.
Xam VQ-VAE ak Latent yu wuute
VQ-VAE dafay tënk nataal yi, audio yi wala wideo yi ci benn griy bu ndaw bu am kod yu wuute yuñ jëlee ci téere kode buñ jàng, ci barabu nimero yu wéy. Bottleneck bu nëbbu bi dafay may model yu am doole yu melni Transformers ñu jàppee media yi ni ay 'token', lu melni kàddu. VQ-VAE ak Discrete Latents bokk nañu ci liggéey yiy wane ordinatër, yuy tekki wala defar ay mejaa yuñ mëna gis ngir jàngat, liggéey ak sos lu bees. Ngir tabax xam-xam bu xóot, jàppal VQ-VAE ak Discrete Latents ni xeetu liggéey, du benn man-man: leeral njariñ yi nga bëgg, leeral xalaat yi, ak tàqale li sistem bi mëna def ci anam wu wóor ak li ba leegi soxla àtteb kàngam.
Ci jëf, ekip yu am doole yiy jëfandikoo VQ-VAE ak Discrete Latents dañuy ekilibre njub ak dëggantaanu liggéey lu melni kalite done, faraasu leeral, ak méngoo etiketu. Dañuy bind kritër yu leer ngir am ndam, natt leen ci done yu dëggu ak def liggéey, ba noppi ñu baamtu ci anamu ñàkka mëna seetlu, du ci benn yoon benchmark wins. Mooy barab bi xam-xam theorie bi di soppiku nekk kàttan buy yàgg ci produit yi, ci politik yi ak ci liggéey yi.
Visual IA mën na otomatise saytu, gis ak etiketu liggéey ci eskaal. Ci jamano jooju, yelleefi nataal ak nangu mën na nekk risku yoon sudee fimu bawoo leerul. Xeetu jëf bi gëna dëgër mooy boole gaawaayu jàngat ak disipline nguur: doxal pilote, jàpp firnde, siiwal dogal yi, ak wéy di yeesal kaaraange gi ci anam wi ñuy doxalee, li jëfandikukat bi di xaar, ak sàrti sàrt yi di jëm kanam.
njeextalu pexe
Visual IA mën na otomatise saytu, gis ak etiketu liggéey ci eskaal.
Visual IA mën na otomatise saytu, gis ak etiketu liggéey ci eskaal. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Ekipu kreatif yi mën nañu defar konsept yu gëna gaaw te duñu def lu bari ci loxo.
Ekipu kreatif yi mën nañu defar konsept yu gëna gaaw te duñu def lu bari ci loxo. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Liggéeyukaay yi mën nañu jëfandikoo siñaal nataal wala wideo yu jafewoon lool ci liggéey.
Liggéeyukaay yi mën nañu jëfandikoo siñaal nataal wala wideo yu jafewoon lool ci liggéey. Ci jëfandikoo yu am kalite bu kawe, loolu dañu koy tekki ci sàrti liggéey yuñ mëna natt, ay peggu boroom, ak ay xew-xewu xoolaat yu bari suko defee ekip yi mëna yokk wóolu seen bopp ci barabu yokk lu jaxasoo.
Doxal ci àdduna dëgg
DALL-E 1 dafa jëfandikoo benn tokeniseer VQ-VAE bu wuute ngir Transformatër bi mëna defar ay nataal yu melni limu téere kode yi.
VQGAN boole VQ-VAE ak perte adversarial ak perceptuel ngir génne ay token nataal yu fëgër, yu am dayo bu kawe ngir defar art.
Jukebox OpenAI dafa jëfandikoo VQ-VAE ci audio bu ñor, di dajale music bi ci ay kod yu wuute ngir defar ay model.
VQ-VAE-2 dafa dajale ay latents yu wuute ngir dajale ay nataal yu bari te wóor yuy xëccoo ak GAN yu jamonoom.
Modèlu jëfandikoo
VQ-VAE ak Latent yu wuute ci jëf
DALL-E 1 dafa jëfandikoo benn tokeniseer VQ-VAE bu wuute ngir Transformatër bi mëna defar ay nataal yu melni limu téere kode yi.
DALL-E 1 jëfandikoo na tokenizer VQ-VAE bu diskret suko defee Transformer mëna defar ay nataal yu melni xeetu indices codebook Teams yi dañuy faral di am njariñ yu gëna baax suñu joxee threshold yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit ak njëgu njuumte ci diir bi.
VQ-VAE ak Latent yu wuute ci jëf
VQGAN boole VQ-VAE ak perte adversarial ak perceptuel ngir génne ay token nataal yu fëgër, yu am dayo bu kawe ngir defar art.
VQGAN boole VQ-VAE ak perte adversarial ak perceptuel ngir génne ay token nataal yu fëgër, yu am resolusioŋ bu kawe ngir defar art. Ekip yi dañuy faral di am njariñ yu gëna baax suñu joxee threshold yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit yi ak njuumte yi.
VQ-VAE ak Latent yu wuute ci jëf
Jukebox OpenAI dafa jëfandikoo VQ-VAE ci audio bu ñor, di dajale music bi ci ay kod yu wuute ngir defar ay model.
OpenAI's Jukebox dafa jëfandikoo VQ-VAE ci audio bu ñor, di kompresse music ci kode yu diskret ngir modeling generatif. Ekip yi dañuy faral di am njariñ yu gëna baax suñu joxee threshold yu baax ci kanam, tëye yoonu eskalaasioŋ nit ngir jafe-jafe yi, ak topp njuumte yi ci diir bi.
VQ-VAE ak Latent yu wuute ci jëf
VQ-VAE-2 dafa dajale ay latents yu wuute ngir dajale ay nataal yu bari te wóor yuy xëccoo ak GAN yu jamonoom.
VQ-VAE-2 dafa dajale ay latents yu wuute ngir dajale ay nataal yu bari, yu am fidélité bu rëy yuy xëcc GANs ci jamonoom. Ekip yi dañuy faral di am njariñ yu gëna baax suñu joxee threshold yu baax ci kanam, tëye yoonu escalation nit ngir jafe-jafe yi, ba noppi topp njariñu produit yi ak njuumte yi.
Risk yi ak balustrade yi
Yelleefi nataal ak nangu mën na nekk risku yoon sudee fi ñu bawoo leerul.
Performance model bi mën na wuute ci leeraay bi, demographie bi ak environmaa bi.
Njuumteg positive yi mën nañu dem te kenn duko seetlu fileek xool wuñu buntu wóolu sa bopp.
Roadmap ngir samp gi
Mandargal kritërium nangug njub, woowaat ak njëgu njuumte.
Mandargal kritërium nangug njub, woowaat ak njëgu njuumte. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppali génne gi, tëj bërëb bi, ba noppi nga yaatal jëfandikoo gi.
Saytu ak done yu méngoo ak anam yi ñuy liggéeyee dëgg.
Saytu ak done yu méngoo ak anam yi ñuy liggéeyee dëgg. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppali génne gi, tëj bërëb bi, ba noppi nga yaatal jëfandikoo gi.
Yokk jàngat nit ngir xam fu wóorul dara wala am njeexital yu rëy.
Yokk jàngat nit ngir xam fu wóorul dara wala am njeexital yu rëy. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppali génne gi, tëj bërëb bi, ba noppi nga yaatal jëfandikoo gi.
Toppal model drift bi nga baaxal ko ginaaw bi kamera bi wala done yi soppeekoo.
Toppal model drift bi nga baaxal ko ginaaw bi kamera bi wala done yi soppeekoo. Japp jéego bu nekk ni buntu firnde: sudee mattul kritër yi, noppali génne gi, tëj bërëb bi, ba noppi nga yaatal jëfandikoo gi.