Muse Masked Generative Aworan
Muse jẹ awoṣe ọrọ-si-aworan lati Google ti o ṣe agbejade awọn aworan nipasẹ kikun ni awọn ami aworan ti o ni iboju ni ẹẹkan, ti o jẹ ki o yara yiyara ju itankale-ni-igbesẹ lọ.
Akopọ
It matters because it showed you can get high-quality, well-aligned images without the slow iterative denoising that most generators rely on.
Jin Dive
Muse n ṣiṣẹ ni aaye ami iyasọtọ ti aworan kan. VQGAN ti a ti kọkọ tẹlẹ yi aworan kan pada si akoj ti awọn ami odidi, bii ọrọ ti awọn bulọọki ile wiwo. Lakoko ikẹkọ, ida nla ti awọn ami wọnyi ti wa ni boju-boju, ati Ayipada kan kọ ẹkọ lati ṣe asọtẹlẹ wọn pada, ti o ni ibamu lori awọn ifibọ ọrọ lati awoṣe ede nla ti o tutuni (T5-XXL). Ni akoko iran Muse bẹrẹ lati akoj gbogbo-boju-boju ati awọn iyipada ni awọn iyipo ti o jọra, sọtẹlẹ ọpọlọpọ awọn ami-ami fun igbesẹ kan ati tun-boju awọn ti o ni igboya ti o kere julọ. Apẹrẹ ipele-meji ni akọkọ ṣe agbejade akoj ami-ipin-kekere, lẹhinna awoṣe ti o ga julọ ti o kun akoj ipinnu ti o ga julọ. Nitori awọn dosinni ti awọn ami ipinnu nigbakanna, awọn awoṣe paramita 900M ati 3B ṣe agbejade aworan piksẹli 256 tabi 512 ni ọwọ diẹ ti awọn gbigbe siwaju.
Imọ-imọ-ẹrọ
Ẹtan mojuto jẹ iyipada afiwera pẹlu atunṣe-orisun igbẹkẹle, nigbagbogbo ti a pe ni iṣapẹẹrẹ ara-ara MaskGIT. Dipo asọtẹlẹ ami ami kan ni akoko kan (autoregressive) tabi kọ awọn ọgọọgọrun igba (itankale), Muse sọ asọtẹlẹ gbogbo awọn ami ti o boju-boju, tọju awọn ti o ni igboya julọ, ati tun-boju-boju iyokù fun yika atẹle. Lilo koodu koodu T5-XXL tio tutunini funni ni oye ede ti o lagbara fun ọfẹ, ati ṣiṣẹ lori awọn ami iyasọtọ jẹ ki awoṣe ṣe idi nipa awọn aworan diẹ sii bi awọn ọrọ.
Ipa Ilana
Iyara ati iwọn
Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn.
Kọ awọn yiyan
Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ.
Ọjọ iwaju ti Aworan Generative Masked Muse
Awọn aaye iyipada afiwera ti o boju-boju si awọn olupilẹṣẹ ti o jẹ didara giga ati iyara nitootọ, eyiti o ṣe pataki fun ṣiṣatunṣe ibaraenisepo ati lilo ẹrọ. Reti ero asọtẹlẹ ami-ami lati dapọ pẹlu itankale ati awọn ọna fidio afọwọṣe, ati lati fi agbara kun kikun lẹsẹkẹsẹ, kikun ita, ati ṣiṣatunṣe laisi iboju-boju. Bi awọn ami isamisi ti o mọye ti n pọ si, aworan ti o ni iboju le fa ni mimọ sinu fidio ati 3D, nibiti iyipada ti o jọra le ge idiyele nla ti ipilẹṣẹ ọpọlọpọ awọn fireemu tabi awọn iwo.
Real-World imuse
Iṣẹ ọna ero iyara ati awọn igbimọ iṣesi nibiti oṣere nilo ọpọlọpọ awọn iyatọ aworan ni iṣẹju-aaya ju awọn iṣẹju lọ.
Akun-ikun-shot, gẹgẹbi yiyọ ohun kan kuro ati nini awoṣe kun agbegbe ti o boju-boju nigbagbogbo pẹlu agbegbe.
Iyaworan lati faagun fọto kọja awọn aala atilẹba rẹ fun awọn asia tabi awọn ipin abala oriṣiriṣi.
Ṣiṣatunṣe laisi iboju-boju, bii yiyipada awọ aja tabi ọrun si iwọ-oorun nipa ṣiṣatunṣe tọ ọrọ ati tun-ṣatunṣe awọn ami ti o kan.
Awọn ewu & Awọn ọna iṣọ
Awọn ẹtọ aworan ati igbanilaaye le di awọn eewu labẹ ofin ti o ba jẹ afihan.
Iṣe awoṣe le yatọ kọja ina, awọn ẹda eniyan, ati awọn agbegbe.
Awọn idaniloju eke le ma ṣe akiyesi ayafi ti a ba ṣe abojuto awọn ala igbẹkẹle.
Ilana Ilana imuse
Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe.
Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi.
Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga.
Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Muse Masked Generative Imaging quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Awọn koodu ti ko boju mu
Awọn ibeere ti a beere nigbagbogbo
What is Muse Masked Generative Imaging?
Muse jẹ awoṣe ọrọ-si-aworan lati Google ti o ṣe agbejade awọn aworan nipasẹ kikun ni awọn ami aworan ti o ni iboju ni ẹẹkan, ti o jẹ ki o yara yiyara ju itankale-ni-igbesẹ lọ. O ṣe pataki nitori pe o fihan pe o le gba didara-giga, awọn aworan ti o ni ibamu daradara laisi ikọsilẹ aṣetunṣe ti o lọra ti ọpọlọpọ awọn olupilẹṣẹ gbarale.
Kini Muse ṣe asọtẹlẹ lakoko iran dipo kiko awọn piksẹli?
Muse n ṣiṣẹ ni aaye ami iyasọtọ ọtọtọ, asọtẹlẹ awọn ami aworan ti o boju-boju ti a ṣe nipasẹ tokini VQGAN dipo ki o ṣiṣẹ lori awọn piksẹli taara.
Kini idi ti Muse ni gbogbogbo yiyara ju awọn awoṣe kaakiri boṣewa?
Muse kun ni ọpọlọpọ awọn ami boju-boju nigbakanna ati pe o nilo iwonba ti awọn iyipo iyipada nikan, ko dabi ọpọlọpọ awọn igbesẹ itọsi itọsẹ ti itankale.
Nibo ni Muse ti gba oye ti itọ ọrọ naa?
Iran awọn ipo muse lori awọn ifibọ ọrọ lati inu awoṣe ede T5-XXL ti a ti kọkọ tẹlẹ, fifun ni oye ede ti o lagbara.
Kini ipa ti atunṣe-orisun igbẹkẹle ni Muse?
Lẹhin asọtẹlẹ kọọkan ti o jọra, Muse ṣe idaduro awọn ami ti o ni igboya julọ ati tun-boju-boju awọn ti o ni igboya ti o kere julọ lati ṣatunṣe lori awọn iyipo ti o tẹle.
Bawo ni Muse ṣe n ṣakoso iṣelọpọ awọn aworan ti o ga julọ?
Muse kọkọ ṣe agbejade akoj ami-ipinnu kekere, lẹhinna awoṣe ipinnu-ipinnu keji ṣe agbejade akoj ami ami-giga giga.