VQGAN ati Akopọ Aworan Aworan
VQGAN ṣe akopọ awọn aworan sinu akoj ti awọn ami iyasọtọ ti o fa lati inu iwe koodu ti o kọ ẹkọ, jẹ ki oluyipada kan ṣe agbekalẹ awọn aworan ni ọna kanna awọn awoṣe ede n ṣe agbekalẹ ọrọ.
Jin Dive
VQGAN, ti a ṣe afihan ninu iwe 2021 'Taming Transformers for High-Resolution Image Synthesis,' ṣajọpọ autoencoder-quantized vector (VQVAE) pẹlu adversarial ati ikẹkọ oye. Ayipada koodu maapu aworan kan si akoj kekere ti awọn ẹya ara ẹrọ; kọọkan fekito ti wa ni snapped si awọn sunmọ titẹsi ni a kẹkọọ codebook ti, sọ, 1024 ọtọ awọn koodu, titan aworan sinu kan ọkọọkan ti odidi àmi. Oluyipada kan tun ṣe aworan naa lati awọn ami-ami wọnyẹn, ti o ni ikẹkọ pẹlu iyasọtọ GAN ati pipadanu oye nitori awọn atunto dabi didasilẹ kuku ju blurry. Nitoripe awọn aworan ti wa ni awọn ilana ami iyasọtọ ti o mọye, oluyipada autoregressive le ṣe awoṣe wọn bi ede, asọtẹlẹ awọn ami ni ọkọọkan. VQGAN loruko agbara ni kutukutu ọrọ-si-aworan awọn irinṣẹ iṣẹ ọna nigba ti a ba so pọ pẹlu itọsọna CLIP.
Imọ-imọ-ẹrọ
Iṣiṣẹ pataki jẹ pipọ fekito: awọn abajade fifi koodu lilọsiwaju ni a rọpo nipasẹ awọn olutọpa iwe koodu koodu ti o sunmọ wọn, pẹlu iṣiro gradient 'taara-nipasẹ' ki olupilẹṣẹ tun le kọ ẹkọ laibikita wiwa ti kii ṣe iyatọ. Ṣafikun iyasọtọ GAN ti o da lori alemo lori oke ti autoencoder jẹ ohun ti o jẹ ki VQGAN lo akoj àmi ti o kere pupọ (fun apẹẹrẹ 16x16) ju VQVAE lakoko ti o tọju awọn awoara agaran, ṣiṣe awọn awoṣe awoṣe transformer jẹ apẹrẹ.
Ipa Ilana
Iyara ati iwọn
Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn.
Kọ awọn yiyan
Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ.
Ojo iwaju ti VQGAN ati Akopọ Aworan Aworan
Ohunelo tokini ọtọtọ ti VQGAN di ipilẹ fun aworan ti o da lori ami-ami ati awọn awoṣe fidio, lati MaskGIT si awọn ọna ṣiṣe multimodal ti o dapọ aworan ati awọn ami ọrọ ni oluyipada kan. Iwadi ni bayi titari si awọn iwe koodu kodẹmu ti o tobi, iwọn-opin tabi wiwa ti ko ni aabo ti o yago fun iṣubu iwe koodu ati si awọn awoṣe iṣọkan nibiti awọn fokabulari kan na gba awọn aworan, ohun ohun, ati ede, ti n mu agbara eyikeyi-si-iran eyikeyi.
Real-World imuse
Nfi fọto pamọ sinu akoj 16x16 ti awọn ami koodu koodu ki ẹrọ iyipada le ṣe awoṣe ki o tun ṣe
Pipọpọ VQGAN pẹlu itọsọna CLIP lati ṣẹda ifakalẹ 'VQGAN+CLIP' AI aworan ti o lọ gbogun ti ni ọdun 2021
Fifun awọn aworan sinu awọn koodu ọtọtọ iwapọ fun ibi ipamọ to munadoko tabi ikẹkọ ipilẹṣẹ isalẹ
Ṣiṣẹ bi aami ami aworan inu awọn olupilẹṣẹ ti o da lori ami-ami nla bi MaskGIT ati awọn oluyipada multimodal
Awọn ewu & Awọn ọna iṣọ
Awọn ẹtọ aworan ati igbanilaaye le di awọn eewu labẹ ofin ti o ba jẹ afihan.
Iṣe awoṣe le yatọ kọja ina, awọn ẹda eniyan, ati awọn agbegbe.
Awọn idaniloju eke le ma ṣe akiyesi ayafi ti a ba ṣe abojuto awọn ala igbẹkẹle.
Ilana Ilana imuse
Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe.
Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi.
Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga.
Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the VQGAN and Codebook Image Synthesis quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
SPADE Atumọ Aworan
Awọn ibeere ti a beere nigbagbogbo
What is VQGAN and Codebook Image Synthesis?
VQGAN ṣe akopọ awọn aworan sinu akoj ti awọn ami iyasọtọ ti o fa lati inu iwe koodu ti o kọ ẹkọ, jẹ ki oluyipada kan ṣe agbekalẹ awọn aworan ni ọna kanna awọn awoṣe ede n ṣe agbekalẹ ọrọ.
Kini VQGAN nlo lati ṣe aṣoju aworan bi awọn ami iyasọtọ?
VQGAN ṣe iwọn awọn ẹya koodu koodu si awọn titẹ sii ti o sunmọ julọ ninu iwe koodu kọkọ, yiyi aworan pada si ọna ti awọn atọka koodu ọtọtọ.
Kini idi ti VQGAN ṣe ṣafikun iyasọtọ GAN lori oke VQVAE kan?
Awọn adanu ọta ati oye jẹ ki VQGAN tun ṣe awọn aworan agaran lati akoj ami iwapọ, eyiti VQVAE nikan duro lati blur.
Ni kete ti aworan ba jẹ ọkọọkan ti awọn ami, awoṣe wo ni o ṣẹda awọn aworan tuntun?
Nitoripe awọn aworan di awọn itọsi ami iyasọtọ, oluyipada kan le ṣe awoṣe wọn ni adaṣe, gẹgẹ bi ṣiṣẹda ọrọ.
Ilana wo ni o jẹ ki awọn gradients ṣàn nipasẹ igbesẹ titobi ti kii ṣe iyatọ?
Isọdiwọn Vector kii ṣe iyatọ, nitorinaa VQGAN nlo iṣiro iwọn-giradient taara lati ṣe ikẹkọ kooduopo naa.
Iru aṣa aworan AI olokiki wo ni VQGAN ṣe iranlọwọ ṣẹda ni ọdun 2021?
Pipọpọ VQGAN pẹlu itọsọna CLIP ṣe agbejade iṣẹ ọna 'VQGAN+CLIP' ti o pin kaakiri ti o gbajuwe iran aworan ti o dari ọrọ.