Akopọ
VQGAN ṣe akopọ awọn aworan sinu akoj ti awọn ami iyasọtọ ti o fa lati inu iwe koodu ti o kọ ẹkọ, jẹ ki oluyipada kan ṣe agbekalẹ awọn aworan ni ọna kanna awọn awoṣe ede n ṣe agbekalẹ ọrọ.
VQGAN ati Codebook Aworan Synthesis jẹ ti awọn iṣan-iṣẹ iṣẹ-iriran kọnputa ti o tumọ tabi ṣe agbejade media wiwo fun itupalẹ, awọn iṣẹ ṣiṣe, ati ẹda.
Jin Dive
VQGAN, ti a ṣe afihan ninu iwe 2021 'Taming Transformers for High-Resolution Image Synthesis,' ṣajọpọ autoencoder-quantized vector (VQVAE) pẹlu adversarial ati ikẹkọ oye. Ayipada koodu maapu aworan kan si akoj kekere ti awọn ẹya ara ẹrọ; kọọkan fekito ti wa ni snapped si awọn sunmọ titẹsi ni a kẹkọọ codebook ti, sọ, 1024 ọtọ awọn koodu, titan aworan sinu kan ọkọọkan ti odidi àmi. Oluyipada kan tun ṣe aworan naa lati awọn ami-ami wọnyẹn, ti o ni ikẹkọ pẹlu iyasọtọ GAN ati pipadanu oye nitori awọn atunto dabi didasilẹ kuku ju blurry. Nitoripe awọn aworan ti wa ni awọn ilana ami iyasọtọ ti o mọye, oluyipada autoregressive le ṣe awoṣe wọn bi ede, asọtẹlẹ awọn ami ni ọkọọkan. VQGAN loruko agbara ni kutukutu ọrọ-si-aworan awọn irinṣẹ iṣẹ ọna nigba ti a ba so pọ pẹlu itọsọna CLIP.
Imọ-imọ-ẹrọ
Iṣiṣẹ pataki jẹ pipọ fekito: awọn abajade fifi koodu lilọsiwaju ni a rọpo nipasẹ awọn olutọpa iwe koodu koodu ti o sunmọ wọn, pẹlu iṣiro gradient 'taara-nipasẹ' ki olupilẹṣẹ tun le kọ ẹkọ laibikita wiwa ti kii ṣe iyatọ. Ṣafikun iyasọtọ GAN ti o da lori alemo lori oke ti autoencoder jẹ ohun ti o jẹ ki VQGAN lo akoj àmi ti o kere pupọ (fun apẹẹrẹ 16x16) ju VQVAE lakoko ti o tọju awọn awoara agaran, ṣiṣe awọn awoṣe awoṣe transformer jẹ apẹrẹ.
Titunto si VQGAN ati Apejọ Aworan Codebook
VQGAN ṣe akopọ awọn aworan sinu akoj ti awọn ami iyasọtọ ti o fa lati inu iwe koodu ti o kọ ẹkọ, jẹ ki oluyipada kan ṣe agbekalẹ awọn aworan ni ọna kanna awọn awoṣe ede n ṣe agbekalẹ ọrọ. VQGAN ati Codebook Aworan Synthesis jẹ ti awọn iṣan-iṣẹ iṣẹ-iriran kọnputa ti o tumọ tabi ṣe agbejade media wiwo fun itupalẹ, awọn iṣẹ ṣiṣe, ati ẹda. Lati kọ oye ti o jinlẹ, tọju VQGAN ati Codebook Aworan Synthesis bi awoṣe iṣẹ, kii ṣe ẹya ẹyọkan: ṣalaye awọn abajade ti o fẹ, ṣe alaye awọn arosọ, ati lọtọ ohun ti eto le ṣe ni igbẹkẹle lati ohun ti o tun nilo idajọ amoye.
Ni iṣe, awọn ẹgbẹ ti o lagbara ni lilo VQGAN ati Codebook Aworan Synthesis iwọntunwọnsi pẹlu awọn otitọ ṣiṣe bii didara data, iyatọ ina, ati isamisi aitasera. Wọn ṣe akọsilẹ awọn ibeere aṣeyọri ti o fojuhan, idanwo lodi si data ojulowo ati ṣiṣan iṣẹ, ati atunbere ti o da lori awọn ilana ikuna ti a ṣakiyesi dipo awọn bori ala-akoko kan. Eyi ni ibiti oye imọ-jinlẹ yipada si agbara ti o tọ kọja ọja, eto imulo, ati awọn iṣẹ ṣiṣe.
Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn. Ni akoko kanna, Awọn ẹtọ aworan ati ifọkansi le di awọn eewu labẹ ofin ti o ba jẹ afihan. Ọna resilient julọ julọ ni lati darapọ iyara idanwo pẹlu ibawi ijọba: ṣiṣe awọn awakọ awakọ, mu ẹri mu, ṣe atẹjade awọn iwe ipinnu, ati imudojuiwọn awọn aabo nigbagbogbo bi ihuwasi awoṣe, awọn ireti olumulo, ati awọn ibeere ilana ti dagbasoke.
Ipa Ilana
Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn.
Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.
Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ.
Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.
Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ.
Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.
Real-World imuse
Nfi fọto pamọ sinu akoj 16x16 ti awọn ami koodu koodu ki ẹrọ iyipada le ṣe awoṣe ki o tun ṣe
Pipọpọ VQGAN pẹlu itọsọna CLIP lati ṣẹda ifakalẹ 'VQGAN+CLIP' AI aworan ti o lọ gbogun ti ni ọdun 2021
Fifun awọn aworan sinu awọn koodu ọtọtọ iwapọ fun ibi ipamọ to munadoko tabi ikẹkọ ipilẹṣẹ isalẹ
Ṣiṣẹ bi aami ami aworan inu awọn olupilẹṣẹ ti o da lori ami-ami nla bi MaskGIT ati awọn oluyipada multimodal
Awọn Ilana imuse
VQGAN ati Codebook Aworan Synthesis ni iṣe
Nfi fọto pamọ sinu akoj 16x16 ti awọn ami koodu koodu ki ẹrọ iyipada le ṣe awoṣe ki o tun ṣe atunbi.
Yiyipada fọto kan sinu akoj 16x16 ti awọn ami koodu koodu ki oluyipada kan le ṣe awoṣe ki o tun ṣe atunbi rẹ Awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna igbega eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe lori akoko.
VQGAN ati Codebook Aworan Synthesis ni iṣe
Pipọpọ VQGAN pẹlu itọsọna CLIP lati ṣẹda ifakalẹ 'VQGAN+CLIP' AI aworan ti o lọ gbogun ti ni ọdun 2021.
Pipọpọ VQGAN pẹlu itọsọna CLIP lati ṣẹda aworan 'VQGAN + CLIP' AI aworan ti o gbogun ti ni ọdun 2021 Awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna igbega eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe lori akoko.
VQGAN ati Codebook Aworan Synthesis ni iṣe
Fifun awọn aworan sinu awọn koodu ọtọtọ iwapọ fun ibi ipamọ to munadoko tabi ikẹkọ ipilẹṣẹ isalẹ.
Titari awọn aworan sinu awọn koodu iyasọtọ iwapọ fun ibi ipamọ to munadoko tabi ikẹkọ ipilẹṣẹ isalẹ Awọn ẹgbẹ nigbagbogbo gba awọn abajade ti o dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa awọn anfani iṣelọpọ mejeeji ati awọn idiyele aṣiṣe lori akoko.
VQGAN ati Codebook Aworan Synthesis ni iṣe
Ṣiṣẹ bi ami isamisi aworan inu awọn olupilẹṣẹ ti o da lori ami-ami nla bi MaskGIT ati awọn oluyipada multimodal.
Ṣiṣẹ bi tokenizer aworan inu awọn olupilẹṣẹ ti o da lori ami-ami nla bii MaskGIT ati awọn oluyipada multimodal nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna igbega eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe lori akoko.
Awọn ewu & Awọn ọna iṣọ
Awọn ẹtọ aworan ati igbanilaaye le di awọn eewu labẹ ofin ti o ba jẹ afihan.
Iṣe awoṣe le yatọ kọja ina, awọn ẹda eniyan, ati awọn agbegbe.
Awọn idaniloju eke le ma ṣe akiyesi ayafi ti a ba ṣe abojuto awọn ala igbẹkẹle.
Ilana Ilana imuse
Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe.
Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.
Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi.
Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.
Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga.
Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.
Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto.
Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.