VQ-VAE ati Oye Latents
VQ-VAE rọ awọn aworan, ohun, tabi fidio sinu akoj kekere ti awọn koodu ọtọtọ ti a fa lati inu iwe koodu kọni, dipo awọn nọmba ti nlọsiwaju.
Akopọ
Bottleneck iyasọtọ yii jẹ ki awọn awoṣe ọkọọkan ti o lagbara bi Awọn Ayirapada ṣe itọju media bi 'awọn ami', bii awọn ọrọ.
Jin Dive
VQ-VAE (Vector Quantized Variational Autoencoder), ti a ṣe nipasẹ van den Oord ati awọn ẹlẹgbẹ ni DeepMind ni ọdun 2017, jẹ oluyipada autoencoder ti aaye wiwaba jẹ oye. Encoder kan yi aworan pada sinu akoj ti awọn fekito ti nlọsiwaju; fekito kọọkan ti wa ni snapped si awọn oniwe-sunmọ titẹsi ni a eko koodu ti awọn ifibọ (fekito quantization). Oluyipada naa tun ṣe aworan naa lati inu awọn koodu titobi wọnyẹn. Nitoripe awọn latent jẹ bayi ọrọ-ọrọ ti awọn atọka, awoṣe lọtọ le kọ ẹkọ pinpin wọn ati ṣe agbekalẹ akoonu tuntun. Ohunelo ipele-meji yii ni agbara DALL-E 1, Jukebox fun orin, ati VQGAN, eyiti o ṣafikun oye ati ipadanu ọta fun awọn atunkọ to nipọn. VQ-VAE-2 tolera ọpọ awọn ipinnu lati gbejade awọn aworan iṣootọ giga.
Imọ-imọ-ẹrọ
Igbesẹ titobi (iṣawari agbegbe-argmin ti o sunmọ julọ) ko ṣe iyatọ, nitorina VQ-VAE nlo iṣiro-taara: awọn gradients ti wa ni daakọ taara lati titẹ sii decoder pada si iṣẹjade kooduopo bi ẹnipe titobi jẹ idanimọ naa. Ikẹkọ darapọ adanu atunkọ, ipadanu iwe koodu ti nfa awọn ifibọ si awọn abajade koodu koodu, ati pipadanu ifaramo ti o tọju kooduopo ifaramọ si awọn koodu yiyan rẹ. Ikuna ti o wọpọ ni iwe koodu kodẹmu, nibiti awọn koodu diẹ nikan ti lo.
Ipa Ilana
Iyara ati iwọn
Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn.
Kọ awọn yiyan
Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ.
Ojo iwaju ti VQ-VAE ati Awọn Latents ọtọtọ
Awọn idasile ọtọtọ jẹ aringbungbun si titari si awọn awoṣe multimodal isokan ti o ṣe ami awọn aworan, ohun, ati fidio sinu awọn fokabulari kanna bi ọrọ. Awọn ilọsiwaju bii pipọ ati iwọn iwọn iwọn opin, awọn iwe koodu nla, ati iwọntunwọnsi lilo to dara julọ n dinku iṣubu ati imuduro iṣotitọ. Gẹgẹbi awọn awoṣe ṣe ifọkansi lati loye mejeeji ati ṣe ipilẹṣẹ kọja awọn ọna ṣiṣe, awọn ami-ami ti o lagbara ti a ṣe lori awọn imọran VQ-VAE yoo wa ni eroja ipilẹ, dije dije ati apapọ pẹlu awọn isunmọ itọka wiwaba wiwaba tẹsiwaju.
Real-World imuse
DALL-E 1 lo tokenizer VQ-VAE ọtọtọ kan ki Amunawa le ṣe agbekalẹ awọn aworan bi awọn ilana ti awọn atọka koodu koodu.
VQGAN ni idapo VQ-VAE pẹlu ọta ati awọn adanu oye lati ṣe agbejade agaran, awọn ami aworan ti o ga-giga fun iran aworan.
OpenAI's Jukebox lo VQ-VAE si ohun aise, fisinuirindigbindigbin orin sinu awọn koodu ọtọtọ fun awoṣe ipilẹṣẹ.
VQ-VAE-2 tolera tolera oloye latents lati ṣajọpọ oniruuru, awọn aworan iṣootọ giga ti njijadu awọn GAN ti akoko rẹ.
Awọn ewu & Awọn ọna iṣọ
Awọn ẹtọ aworan ati igbanilaaye le di awọn eewu labẹ ofin ti o ba jẹ afihan.
Iṣe awoṣe le yatọ kọja ina, awọn ẹda eniyan, ati awọn agbegbe.
Awọn idaniloju eke le ma ṣe akiyesi ayafi ti a ba ṣe abojuto awọn ala igbẹkẹle.
Ilana Ilana imuse
Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe.
Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi.
Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga.
Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the VQ-VAE and Discrete Latents quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Idapọmọra Latent ati Aworan Interpolation
Awọn ibeere ti a beere nigbagbogbo
Kini VQ-VAE ati Discrete Latents?
VQ-VAE rọ awọn aworan, ohun, tabi fidio sinu akoj kekere ti awọn koodu ọtọtọ ti a fa lati inu iwe koodu kọni, dipo awọn nọmba ti nlọsiwaju. Ọpa igo ọtọtọ yii jẹ ki awọn awoṣe ti o lagbara bi Awọn Ayirapada ṣe itọju media bi 'awọn ami', pupọ bi awọn ọrọ.
Kini o jẹ ki aaye wiwaba VQ-VAE yatọ si ti VAE boṣewa kan?
VQ-VAE rọpo awọn apamọ lemọlemọ pẹlu awọn koodu ọtọtọ ti a fa lati inu iwe kodẹki ti o kọ ẹkọ nipasẹ pipọ iwọn fekito.
Bawo ni VQ-VAE ṣe kọja awọn gradients nipasẹ igbesẹ titobi ti kii ṣe iyatọ?
Ti o taara-nipasẹ iṣiro daakọ idaako-iṣagbewọle decoder-input taara si iṣẹjade kooduopo, ntọju titobi bi idanimọ fun iwọle sẹhin.
Kí ni 'codebook Collapse'?
Codebook Collapse ṣẹlẹ nigbati awọn awoṣe da lori o kan kan diẹ awọn koodu, jafara julọ ti awọn codebook ati ipalara oniruuru.
Kini idi ti awọn latents ọtọtọ wulo fun awoṣe ipilẹṣẹ pẹlu Awọn Ayirapada?
Awọn atọka oye ṣe agbekalẹ fokabulari ti o ni opin, nitorinaa awọn awoṣe lẹsẹsẹ gẹgẹbi Awọn Ayirapada le kọ ẹkọ ati ṣapejuwe pinpin wọn gẹgẹ bi awọn ọrọ.
Kini VQGAN ṣafikun lori oke ti ohunelo VQ-VAE ipilẹ?
VQGAN augments VQ-VAE pẹlu iyasoto ati ipadanu oye, ti nso crisper, alaye diẹ sii awọn ami atunko.