Muse Mask Generative Imaging
Muse ni kielelezo cha kubadilisha maandishi-hadi-picha kutoka Google ambacho hutengeneza picha kwa kujaza tokeni za picha zilizofichwa kwa wakati mmoja, na kuifanya iwe haraka zaidi kuliko uenezaji wa hatua kwa hatua.
Muhtasari
It matters because it showed you can get high-quality, well-aligned images without the slow iterative denoising that most generators rely on.
Dive ya kina
Muse hufanya kazi katika nafasi tofauti ya ishara ya picha. VQGAN iliyofunzwa mapema hugeuza picha kuwa gridi ya tokeni kamili, kama msamiati wa vizuizi vya ujenzi vinavyoonekana. Wakati wa mafunzo, sehemu kubwa ya ishara hizi hufichwa, na Transfoma hujifunza kuzitabiri nyuma, zikiwa na upachikaji wa maandishi kutoka kwa modeli ya lugha kubwa iliyogandishwa (T5-XXL). Katika wakati wa kizazi Muse huanza kutoka kwenye gridi ya taifa iliyofichwa na kuamua kwa mizunguko sambamba, kutabiri ishara nyingi kwa kila hatua na kuficha tena zile zisizo na uhakika zaidi. Muundo wa hatua mbili kwanza hutoa gridi ya ishara ya azimio la chini, kisha mfano wa azimio bora hujaza gridi ya azimio la juu. Kwa sababu dazeni za tokeni hutatuliwa kwa wakati mmoja, miundo ya vigezo vya 900M na 3B hutoa picha ya pikseli 256 au 512 katika pasi chache tu za mbele.
Ufahamu wa Kiufundi
Ujanja wa kimsingi ni kusimbua sambamba na kuweka upya upya kwa msingi wa kujiamini, mara nyingi huitwa sampuli za mtindo wa MaskGIT. Badala ya kutabiri tokeni moja kwa wakati mmoja (autoregressive) au kutoa sauti kwa mamia ya mara (uenezi), Muse anatabiri ishara zote zilizofunikwa, huweka zile zinazojiamini zaidi, na hufunika tena zile zilizosalia kwa raundi inayofuata. Kutumia kisimbaji maandishi cha T5-XXL kilichogandishwa hukupa uelewaji thabiti wa lugha bila malipo, na kufanya kazi kwa tokeni tofauti huruhusu kielelezo kusababu kuhusu picha kama maneno zaidi.
Athari za kimkakati
Kasi na kiwango
Visual AI inaweza kufanya ukaguzi, ugunduzi na kazi za kuweka lebo kiotomatiki kwa kiwango.
Tengeneza chaguzi
Timu bunifu zinaweza kuiga dhana kwa haraka zaidi na masahihisho machache ya mikono.
Timu na mtiririko wa kazi
Uendeshaji unaweza kutumia ishara za picha na video ambazo hapo awali zilikuwa ngumu kuchakata.
Mustakabali wa Muse Mask Generative Imaging
Imefichwa sehemu za usimbaji sambamba kuelekea jenereta ambazo ni za ubora wa juu na zenye kasi ya kweli, jambo ambalo ni muhimu kwa uhariri mwingiliano na matumizi ya kifaa. Tarajia wazo la utabiri wa ishara ili kuunganishwa na uenezaji na mbinu za video zinazoendelea, na kuwezesha uchoraji wa papo hapo, upakaji rangi, na uhariri bila barakoa. Kadiri viashiria maalum vinavyoboreka, upigaji picha unaofunika uso unaweza kupanuka hadi kwenye video na 3D, ambapo usimbaji sambamba unaweza kupunguza kwa kiasi kikubwa gharama ya kuzalisha fremu au maoni mengi.
Utekelezaji wa Ulimwengu Halisi
Sanaa ya dhana ya haraka na vibao vya hisia ambapo msanii anahitaji tofauti nyingi za picha katika sekunde badala ya dakika.
Uchoraji usio na risasi, kama vile kuondoa kitu na kuwa na kielelezo cha kujaza eneo lililofunikwa mara kwa mara na mazingira.
Upakaji rangi nje ili kupanua picha zaidi ya mipaka yake ya asili kwa mabango au uwiano tofauti wa vipengele.
Kuhariri bila barakoa, kama vile kubadilisha rangi ya mbwa au anga hadi machweo kwa kuhariri ujumbe wa maandishi na kupanga upya tokeni zilizoathiriwa.
Hatari & Walinzi
Haki za picha na idhini zinaweza kuwa hatari za kisheria ikiwa asili haiko wazi.
Utendaji wa muundo unaweza kutofautiana katika mwangaza, idadi ya watu na mazingira.
Chanya za uwongo zinaweza kutotambuliwa isipokuwa viwango vya uaminifu vifuatiliwe.
Ramani ya Utekelezaji
Bainisha vigezo vya kukubalika vya usahihi, kumbukumbu na gharama za makosa.
Jaribu kwa kutumia data inayolingana na hali halisi ya uzalishaji.
Ongeza ukaguzi wa kibinadamu kwa utabiri wa chini au utabiri wa athari kubwa.
Fuatilia mtindo wa kuteleza na uthibitishe upya baada ya mabadiliko ya kamera au mkusanyiko wa data.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Muse Masked Generative Imaging quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Visimbaji Kiotomatiki Vilivyofichwa
Maswali yanayoulizwa mara kwa mara
What is Muse Masked Generative Imaging?
Muse ni kielelezo cha kubadilisha maandishi-hadi-picha kutoka Google ambacho hutengeneza picha kwa kujaza tokeni za picha zilizofichwa kwa wakati mmoja, na kuifanya iwe haraka zaidi kuliko uenezaji wa hatua kwa hatua. Ni muhimu kwa sababu ilionyesha kuwa unaweza kupata picha za ubora wa juu, zilizopangwa vizuri bila msemo wa kurudia polepole ambao jenereta nyingi hutegemea.
Muse anatabiri nini wakati wa kizazi badala ya kutoa sauti kwa saizi?
Muse hufanya kazi katika nafasi tofauti ya tokeni, ikitabiri tokeni za picha zilizofichwa zinazotolewa na tokeniza ya VQGAN badala ya kufanya kazi kwenye saizi moja kwa moja.
Kwa nini Muse kwa ujumla ni haraka kuliko mifano ya kawaida ya uenezaji?
Muse hujaza tokeni nyingi zilizofichwa kwa wakati mmoja na inahitaji duru chache tu za kusimbua, tofauti na hatua nyingi za upanuzi za mfuatano wa kutoa deno.
Muse anapata wapi uelewa wake wa haraka ya maandishi?
Uundaji wa masharti ya muse juu ya upachikaji wa maandishi kutoka kwa muundo wa lugha uliofunzwa mapema wa T5-XXL, na kuifanya iwe na ufahamu mkubwa wa lugha.
Je, ni jukumu gani la kuweka upya misingi ya imani katika Muse?
Baada ya kila ubashiri sambamba, Muse huhifadhi ishara zinazojiamini zaidi na huwafunika tena wale wasiojiamini ili kuboresha raundi zinazofuatana.
Muse hushughulikia vipi kutengeneza picha zenye msongo wa juu zaidi?
Muse kwanza hutengeneza gridi ya ishara ya azimio la chini, kisha muundo wa pili wa azimio bora hutoa gridi ya ishara yenye azimio la juu zaidi.