Akopọ
MaskGIT n ṣe agbekalẹ awọn aworan nipasẹ sisọ asọtẹlẹ ọpọlọpọ awọn ami ni ẹẹkan ati kikun awọn ti o ni igboya julọ ni akọkọ, rọpo iran ti o lọra-si-ọtun pẹlu ọwọ diẹ ti awọn igbesẹ afiwera iyara.
MaskGIT Parallel Token Iyipada jẹ ti awọn iṣan-iṣẹ iṣẹ iran-kọmputa ti o tumọ tabi ṣe agbekalẹ media wiwo fun itupalẹ, awọn iṣẹ ṣiṣe, ati ẹda.
Jin Dive
MaskGIT (Ayipada Aworan Jiini ti o boju-boju), lati Google ni ọdun 2022, tun ronu bi awọn awoṣe aworan ti o da lori ami-ami ṣe n yipada. Awọn oluyipada ti tẹlẹ bii VQGAN ṣe ipilẹṣẹ awọn ami afọwọyi, ọkan ni akoko kan ni ilana raster, eyiti o lọra ati aibikita fun awọn aworan 2D. MaskGIT dipo awọn ọkọ irin-ajo pẹlu ibi-afẹde awoṣe ti o boju bi BERT: awọn ipin-aileto ti awọn ami aworan ti wa ni ipamọ ati pe awoṣe kọ ẹkọ lati ṣe asọtẹlẹ gbogbo wọn ni nigbakannaa ni lilo akiyesi bidirectional. Ni akoko iran o bẹrẹ lati akoj boju-boju ni kikun ati awọn iyipada ni nọmba ti o wa titi ti awọn iterations (nigbagbogbo 8 si 12). Igbesẹ kọọkan o sọ asọtẹlẹ gbogbo ami ti o boju-boju, tọju awọn asọtẹlẹ igbẹkẹle ti o ga julọ, ati tun-boju-boju iyokù fun iyipo atẹle. Eyi ṣe agbejade awọn aworan ti o ni agbara giga ni aijọju aṣẹ ti iwọn awọn igbesẹ ti o dinku ju iyipada adaṣe lọ.
Imọ-imọ-ẹrọ
Apakan pataki ni iṣeto boju-boju ti o da lori igbẹkẹle. Iṣeto cosine kan pinnu iye awọn ami-ami lati ṣafihan aṣetunṣe kọọkan, bẹrẹ lọra ati iyara. Nitoripe akiyesi jẹ bidirectional, gbogbo ami ami n wo gbogbo aworan apa kan, nitorinaa ṣiṣe awọn asọtẹlẹ igboya julọ akọkọ jẹ ki awọn igbesẹ nigbamii ni ipo lori ipo ti o lagbara, pupọ bi lohun awọn apakan irọrun ti adojuru ṣaaju awọn aṣiwere.
Titunto si MaskGIT Parallel Tokini Iyipada koodu
MaskGIT n ṣe agbekalẹ awọn aworan nipasẹ sisọ asọtẹlẹ ọpọlọpọ awọn ami ni ẹẹkan ati kikun awọn ti o ni igboya julọ ni akọkọ, rọpo iran ti o lọra-si-ọtun pẹlu ọwọ diẹ ti awọn igbesẹ afiwera iyara. MaskGIT Parallel Token Iyipada jẹ ti awọn iṣan-iṣẹ iṣẹ iran-kọmputa ti o tumọ tabi ṣe agbekalẹ media wiwo fun itupalẹ, awọn iṣẹ ṣiṣe, ati ẹda. Lati kọ oye ti o jinlẹ, tọju MaskGIT Parallel Token Decoding bi awoṣe iṣẹ, kii ṣe ẹya ẹyọkan: ṣalaye awọn abajade ti o fẹ, ṣalaye awọn arosọ, ati lọtọ ohun ti eto le ṣe ni igbẹkẹle lati ohun ti o tun nilo idajọ amoye.
Ni iṣe, awọn ẹgbẹ ti o lagbara ni lilo MaskGIT Parallel Token Iyipada iwọntunwọnsi iwọntunwọnsi pẹlu awọn ojulowo iṣẹ bii didara data, iyatọ ina, ati isamisi aitasera. Wọn ṣe akọsilẹ awọn ibeere aṣeyọri ti o fojuhan, idanwo lodi si data ojulowo ati ṣiṣan iṣẹ, ati atunbere ti o da lori awọn ilana ikuna ti a ṣakiyesi dipo awọn bori ala-akoko kan. Eyi ni ibiti oye imọ-jinlẹ yipada si agbara ti o tọ kọja ọja, eto imulo, ati awọn iṣẹ ṣiṣe.
Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn. Ni akoko kanna, Awọn ẹtọ aworan ati ifọkansi le di awọn eewu labẹ ofin ti o ba jẹ afihan. Ọna resilient julọ julọ ni lati darapọ iyara idanwo pẹlu ibawi ijọba: ṣiṣe awọn awakọ awakọ, mu ẹri mu, ṣe atẹjade awọn iwe ipinnu, ati imudojuiwọn awọn aabo nigbagbogbo bi ihuwasi awoṣe, awọn ireti olumulo, ati awọn ibeere ilana ti dagbasoke.
Ipa Ilana
Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn.
Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.
Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ.
Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.
Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ.
Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.
Real-World imuse
Ṣiṣẹda aworan ni kikun ni iwọn 8 si 12 awọn igbesẹ ti o jọra dipo awọn ọgọọgọrun ti awọn asọtẹlẹ ami-ami autoregressive
Kikun agbegbe ti o boju-boju ti fọto kan nipa tun-sọtẹlẹ nikan awọn ami ti o farapamọ pẹlu ipo agbegbe
Iṣajọpọ aworan ipo-kilasi lori ImageNet ni ifigagbaga didara pẹlu awọn awoṣe ti o lọra pupọ
Ṣiṣẹ bi eegun ẹhin iyipada fun awọn eto ọrọ-si-aworan bii Google's MUSE ti o nilo iran iyara
Awọn Ilana imuse
MaskGIT Parallel Tokini Iyipada koodu ni iṣe
Ṣiṣẹda aworan ni kikun ni iwọn 8 si 12 awọn igbesẹ ti o jọra dipo awọn ọgọọgọrun ti awọn asọtẹlẹ ami-ami autoregressive.
Ṣiṣẹda aworan ni kikun ni iwọn 8 si 12 awọn igbesẹ ti o jọra dipo awọn ọgọọgọrun ti awọn asọtẹlẹ ami-ami autoregressive Awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodiwọn didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa awọn anfani iṣelọpọ mejeeji ati awọn idiyele aṣiṣe lori akoko.
MaskGIT Parallel Tokini Iyipada koodu ni iṣe
Kikun agbegbe ti o boju-boju ti fọto kan nipa tun-sọtẹlẹ nikan awọn ami ti o farapamọ pẹlu ipo agbegbe.
Kikun agbegbe ti o boju-boju ti fọto kan nipa tun-sọtẹlẹ nikan awọn ami ti o farapamọ pẹlu agbegbe agbegbe Awọn ẹgbẹ nigbagbogbo gba awọn abajade ti o dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna igbega eniyan fun awọn ọran eti, ati tọpa awọn anfani iṣelọpọ mejeeji ati awọn idiyele aṣiṣe lori akoko.
MaskGIT Parallel Tokini Iyipada koodu ni iṣe
Iṣajọpọ aworan ipo-kilasi lori ImageNet ni ifigagbaga didara pẹlu awọn awoṣe ti o lọra pupọ.
Iṣajọpọ aworan ipo-kilasi lori ImageNet ni ifigagbaga didara pẹlu awọn awoṣe ti o lọra pupọ Awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa awọn anfani iṣelọpọ mejeeji ati awọn idiyele aṣiṣe lori akoko.
MaskGIT Parallel Tokini Iyipada koodu ni iṣe
Ṣiṣẹ bi eegun ẹhin iyipada fun awọn ọna ṣiṣe ọrọ-si-aworan bii Google's MUSE ti o nilo iran iyara.
Ṣiṣẹ bi ọpa ẹhin iyipada fun awọn eto ọrọ-si-aworan bii Google'S MUSE ti o nilo Awọn ẹgbẹ iran iyara nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe ni akoko pupọ.
Awọn ewu & Awọn ọna iṣọ
Awọn ẹtọ aworan ati igbanilaaye le di awọn eewu labẹ ofin ti o ba jẹ afihan.
Iṣe awoṣe le yatọ kọja ina, awọn ẹda eniyan, ati awọn agbegbe.
Awọn idaniloju eke le ma ṣe akiyesi ayafi ti a ba ṣe abojuto awọn ala igbẹkẹle.
Ilana Ilana imuse
Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe.
Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.
Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi.
Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.
Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga.
Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.
Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto.
Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.