MaskGIT Parallel Tokini Iyipada koodu
MaskGIT n ṣe agbekalẹ awọn aworan nipasẹ sisọ asọtẹlẹ ọpọlọpọ awọn ami ni ẹẹkan ati kikun awọn ti o ni igboya julọ ni akọkọ, rọpo iran ti o lọra-si-ọtun pẹlu ọwọ diẹ ti awọn igbesẹ afiwera iyara.
Jin Dive
MaskGIT (Ayipada Aworan Jiini ti o boju-boju), lati Google ni ọdun 2022, tun ronu bi awọn awoṣe aworan ti o da lori ami-ami ṣe n yipada. Awọn oluyipada ti tẹlẹ bii VQGAN ṣe ipilẹṣẹ awọn ami afọwọṣe, ọkan ni akoko kan ni ilana raster, eyiti o lọra ati aibikita fun awọn aworan 2D. MaskGIT dipo awọn ọkọ irin-ajo pẹlu ibi-afẹde awoṣe ti o boju bi BERT: awọn ipin-aileto ti awọn ami aworan ti wa ni ipamọ ati pe awoṣe kọ ẹkọ lati ṣe asọtẹlẹ gbogbo wọn ni nigbakannaa ni lilo akiyesi bidirectional. Ni akoko iran o bẹrẹ lati akoj boju-boju ni kikun ati awọn iyipada ni nọmba ti o wa titi ti awọn iterations (nigbagbogbo 8 si 12). Igbesẹ kọọkan o sọ asọtẹlẹ gbogbo ami ti o boju-boju, tọju awọn asọtẹlẹ igbẹkẹle ti o ga julọ, ati tun-boju-boju iyokù fun iyipo atẹle. Eyi ṣe agbejade awọn aworan ti o ni agbara giga ni aijọju aṣẹ ti iwọn awọn igbesẹ ti o dinku ju iyipada adaṣe lọ.
Imọ-imọ-ẹrọ
Apakan pataki ni iṣeto boju-boju ti o da lori igbẹkẹle. Iṣeto cosine kan pinnu iye awọn ami-ami lati ṣafihan aṣetunṣe kọọkan, bẹrẹ lọra ati iyara. Nitoripe akiyesi jẹ bidirectional, gbogbo ami ami n wo gbogbo aworan apa kan, nitorinaa ṣiṣe awọn asọtẹlẹ igboya julọ akọkọ jẹ ki awọn igbesẹ nigbamii ni ipo lori ipo ti o lagbara, pupọ bi lohun awọn apakan irọrun ti adojuru ṣaaju awọn aṣiwere.
Ipa Ilana
Iyara ati iwọn
Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn.
Kọ awọn yiyan
Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ.
Ojo iwaju ti MaskGIT Parallel Tokini Yiyipada
Yiyipada aṣetunṣe afiwera MaskGIT ṣe atilẹyin igbi ti awọn olupilẹṣẹ ti kii ṣe adaṣe, pẹlu MUSE fun ọrọ-si-aworan ati awọn isunmọ boju-boju fun fidio. Apẹẹrẹ naa, awọn ami asọtẹlẹ ni afiwe ati isọdọtun lori awọn igbesẹ diẹ, joko laarin awọn GAN-shot ati itankale-ọpọlọpọ-igbesẹ, ti o funni ni iṣowo-iyara didara-didara tunable. Reti iyipada ami ti o boju-boju lati ma farahan ni awọn olupilẹṣẹ multimodal iyara ati awọn eto ṣiṣatunṣe nibiti kikun inu ati awọn kikun ipo jẹ ibamu adayeba.
Real-World imuse
Ṣiṣẹda aworan ni kikun ni iwọn 8 si 12 awọn igbesẹ ti o jọra dipo awọn ọgọọgọrun ti awọn asọtẹlẹ ami-ami autoregressive
Kikun agbegbe ti o boju-boju ti fọto kan nipa tun-sọtẹlẹ nikan awọn ami ti o farapamọ pẹlu ipo agbegbe
Iṣajọpọ aworan ipo-kilasi lori ImageNet ni ifigagbaga didara pẹlu awọn awoṣe ti o lọra pupọ
Ṣiṣẹ bi eegun ẹhin iyipada fun awọn eto ọrọ-si-aworan bii Google's MUSE ti o nilo iran iyara
Awọn ewu & Awọn ọna iṣọ
Awọn ẹtọ aworan ati igbanilaaye le di awọn eewu labẹ ofin ti o ba jẹ afihan.
Iṣe awoṣe le yatọ kọja ina, awọn ẹda eniyan, ati awọn agbegbe.
Awọn idaniloju eke le ma ṣe akiyesi ayafi ti a ba ṣe abojuto awọn ala igbẹkẹle.
Ilana Ilana imuse
Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe.
Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi.
Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga.
Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the MaskGIT Parallel Token Decoding quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Egungun-ti-ero Ti o jọra Yiyipada
Awọn ibeere ti a beere nigbagbogbo
Kini MaskGIT Parallel Token Decoding?
MaskGIT n ṣe agbekalẹ awọn aworan nipasẹ sisọ asọtẹlẹ ọpọlọpọ awọn ami ni ẹẹkan ati kikun awọn ti o ni igboya julọ ni akọkọ, rọpo iran ti o lọra-si-ọtun pẹlu ọwọ diẹ ti awọn igbesẹ afiwera iyara.
Bawo ni MaskGIT ṣe n ṣe iyipada awọn ami aworan yatọ si oluyipada VQGAN?
MaskGIT ṣe asọtẹlẹ gbogbo awọn ami ti o boju-boju nigbakanna pẹlu akiyesi bidirectional, ko dabi VQGAN ti o lọra osi-si-ọtun autoregressive iyipada.
Idi ikẹkọ wo ni MaskGIT yawo lati awọn awoṣe ede?
MaskGIT tọju awọn ipin-aileto ti awọn ami ami ati kọ ẹkọ lati ṣe asọtẹlẹ wọn, ibi-apẹẹrẹ awoṣe ti o boju ti o jọra si BERT.
Lakoko iran, awọn ami wo ni MaskGIT ṣe ni aṣetunṣe kọọkan?
Igbesẹ kọọkan n tọju awọn asọtẹlẹ igboya julọ ati tun-boju-boju iyokù, nitorinaa awọn igbesẹ nigbamii ni ipo ti o gbẹkẹle.
Ni aijọju melo ni awọn aṣetunṣe MaskGIT ṣe deede nilo lati ṣe agbekalẹ aworan kan?
MaskGIT ṣe ipinnu ni nọmba kekere ti awọn igbesẹ ti o wa titi, nigbagbogbo 8 si 12, o kere pupọ ju awọn isunmọ adaṣe tabi itankale.
Iṣeto wo ni o ṣakoso melo ni awọn ami-ami MaskGIT ṣe afihan igbesẹ kọọkan?
Iṣeto cosine ṣe afihan awọn ami diẹ ni kutukutu ati diẹ sii nigbamii, iwọntunwọnsi didara ati iyara kọja awọn iterations.