Akopọ
VQ-VAE rọ awọn aworan, ohun, tabi fidio sinu akoj kekere ti awọn koodu ọtọtọ ti a fa lati inu iwe koodu kọni, dipo awọn nọmba ti nlọsiwaju. Ọpa igo ọtọtọ yii jẹ ki awọn awoṣe ti o lagbara bi Awọn Ayirapada ṣe itọju media bi 'awọn ami', pupọ bi awọn ọrọ.
VQ-VAE ati Awọn Latents Oye jẹ ti awọn iṣan-iṣẹ iṣẹ iran-kọmputa ti o tumọ tabi ṣe agbejade media wiwo fun itupalẹ, awọn iṣẹ ṣiṣe, ati ẹda.
Jin Dive
VQ-VAE (Vector Quantized Variational Autoencoder), ti a ṣe nipasẹ van den Oord ati awọn ẹlẹgbẹ ni DeepMind ni ọdun 2017, jẹ oluyipada autoencoder ti aaye wiwaba jẹ oye. Encoder kan yi aworan pada sinu akoj ti awọn fekito ti nlọsiwaju; fekito kọọkan ti wa ni snapped si awọn oniwe-sunmọ titẹsi ni a eko koodu ti awọn ifibọ (fekito quantization). Oluyipada naa tun ṣe aworan naa lati inu awọn koodu titobi wọnyẹn. Nitoripe awọn latent jẹ bayi ọrọ-ọrọ ti awọn atọka, awoṣe lọtọ le kọ ẹkọ pinpin wọn ati ṣe agbekalẹ akoonu tuntun. Ohunelo ipele-meji yii ni agbara DALL-E 1, Jukebox fun orin, ati VQGAN, eyiti o ṣafikun oye ati ipadanu ọta fun awọn atunkọ to nipọn. VQ-VAE-2 tolera ọpọ awọn ipinnu lati gbejade awọn aworan iṣootọ giga.
Imọ-imọ-ẹrọ
Igbesẹ titobi (iṣawari agbegbe-argmin ti o sunmọ julọ) ko ṣe iyatọ, nitorina VQ-VAE nlo iṣiro-taara: awọn gradients ti wa ni daakọ taara lati titẹ sii decoder pada si iṣẹjade kooduopo bi ẹnipe titobi jẹ idanimọ naa. Ikẹkọ darapọ adanu atunkọ, ipadanu iwe koodu ti nfa awọn ifibọ si awọn abajade koodu koodu, ati pipadanu ifaramo ti o tọju kooduopo ifaramọ si awọn koodu yiyan rẹ. Ikuna ti o wọpọ ni iwe koodu kodẹmu, nibiti awọn koodu diẹ nikan ti lo.
Mastering VQ-VAE ati Oye Latents
VQ-VAE rọ awọn aworan, ohun, tabi fidio sinu akoj kekere ti awọn koodu ọtọtọ ti a fa lati inu iwe koodu kọni, dipo awọn nọmba ti nlọsiwaju. Ọpa igo ọtọtọ yii jẹ ki awọn awoṣe ti o lagbara bi Awọn Ayirapada ṣe itọju media bi 'awọn ami', pupọ bi awọn ọrọ. VQ-VAE ati Awọn Latents Oye jẹ ti awọn iṣan-iṣẹ iṣẹ iran-kọmputa ti o tumọ tabi ṣe agbejade media wiwo fun itupalẹ, awọn iṣẹ ṣiṣe, ati ẹda. Lati kọ oye ti o jinlẹ, tọju VQ-VAE ati Awọn Latents Discrete bi awoṣe iṣẹ, kii ṣe ẹya ẹyọkan: ṣalaye awọn abajade ti o fẹ, ṣe alaye awọn arosọ, ati yapa ohun ti eto le ṣe ni igbẹkẹle lati ohun ti o tun nilo idajọ amoye.
Ni iṣe, awọn ẹgbẹ ti o lagbara ni lilo VQ-VAE ati iwọntunwọnsi Awọn Latents ọtọtọ pẹlu awọn otitọ ṣiṣe bii didara data, iyatọ ina, ati isamisi aitasera. Wọn ṣe akọsilẹ awọn ibeere aṣeyọri ti o fojuhan, idanwo lodi si data ojulowo ati ṣiṣan iṣẹ, ati atunbere ti o da lori awọn ilana ikuna ti a ṣakiyesi dipo awọn bori ala-akoko kan. Eyi ni ibiti oye imọ-jinlẹ yipada si agbara ti o tọ kọja ọja, eto imulo, ati awọn iṣẹ ṣiṣe.
Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn. Ni akoko kanna, Awọn ẹtọ aworan ati ifọkansi le di awọn eewu labẹ ofin ti o ba jẹ afihan. Ọna resilient julọ julọ ni lati darapọ iyara idanwo pẹlu ibawi ijọba: ṣiṣe awọn awakọ awakọ, mu ẹri mu, ṣe atẹjade awọn iwe ipinnu, ati imudojuiwọn awọn aabo nigbagbogbo bi ihuwasi awoṣe, awọn ireti olumulo, ati awọn ibeere ilana ti dagbasoke.
Ipa Ilana
Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn.
Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.
Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ.
Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.
Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ.
Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.
Real-World imuse
DALL-E 1 lo tokenizer VQ-VAE ọtọtọ kan ki Amunawa le ṣe agbekalẹ awọn aworan bi awọn ilana ti awọn atọka koodu koodu.
VQGAN ni idapo VQ-VAE pẹlu ọta ati awọn adanu oye lati ṣe agbejade agaran, awọn ami aworan ti o ga-giga fun iran aworan.
OpenAI's Jukebox lo VQ-VAE si ohun aise, fisinuirindigbindigbin orin sinu awọn koodu ọtọtọ fun awoṣe ipilẹṣẹ.
VQ-VAE-2 tolera tolera oloye latents lati ṣajọpọ oniruuru, awọn aworan iṣootọ giga ti o nfigagbaga awọn GAN ti akoko rẹ.
Awọn Ilana imuse
VQ-VAE ati Awọn Latents ọtọtọ ni iṣe
DALL-E 1 lo tokenizer VQ-VAE ọtọtọ kan ki Amunawa le ṣe agbekalẹ awọn aworan bi awọn ilana ti awọn atọka koodu koodu.
DALL-E 1 lo tokenizer VQ-VAE ọtọtọ kan ki Amunawa le ṣe agbekalẹ awọn aworan bi awọn ilana ti awọn atọka codebook Awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe lori akoko.
VQ-VAE ati Awọn Latents ọtọtọ ni iṣe
VQGAN ni idapo VQ-VAE pẹlu ọta ati awọn adanu oye lati ṣe agbejade agaran, awọn ami aworan ti o ga-giga fun iran aworan.
VQGAN ni idapo VQ-VAE pẹlu awọn adanu atako ati oye lati ṣe agbejade agaran, awọn ami aworan ti o ga-giga fun awọn ẹgbẹ iran aworan nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe lori akoko.
VQ-VAE ati Awọn Latents ọtọtọ ni iṣe
OpenAI's Jukebox lo VQ-VAE si ohun aise, fisinuirindigbindigbin orin sinu awọn koodu ọtọtọ fun awoṣe ipilẹṣẹ.
OpenAI's Jukebox loo VQ-VAE si ohun aise, fisinuirindigbindigbin orin sinu awọn koodu ọtọtọ fun awọn ẹgbẹ awoṣe ipilẹṣẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna igbega eniyan fun awọn ọran eti, ati tọpa awọn anfani iṣelọpọ mejeeji ati awọn idiyele aṣiṣe ni akoko pupọ.
VQ-VAE ati Awọn Latents ọtọtọ ni iṣe
VQ-VAE-2 tolera tolera oloye latents lati ṣajọpọ oniruuru, awọn aworan iṣootọ giga ti o nfigagbaga awọn GAN ti akoko rẹ.
VQ-VAE-2 tolera awọn latents ọtọtọ lati ṣepọ oniruuru, awọn aworan iṣotitọ giga ti njijadu awọn GANs ti awọn ẹgbẹ akoko rẹ nigbagbogbo ni awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna igbega eniyan fun awọn ọran eti, ati tọpa awọn anfani iṣelọpọ mejeeji ati awọn idiyele aṣiṣe lori akoko.
Awọn ewu & Awọn ọna iṣọ
Awọn ẹtọ aworan ati igbanilaaye le di awọn eewu labẹ ofin ti o ba jẹ afihan.
Iṣe awoṣe le yatọ kọja ina, awọn ẹda eniyan, ati awọn agbegbe.
Awọn idaniloju eke le ma ṣe akiyesi ayafi ti a ba ṣe abojuto awọn ala igbẹkẹle.
Ilana Ilana imuse
Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe.
Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.
Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi.
Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.
Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga.
Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.
Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto.
Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.