InayofuataMwongozo unaofuata
Sora na Maandishi hadi Video
AI ya kuona
Mwongozo wa AI unaoonekana
Tengeneza-A-Video Nakala-kwa-Video
Make-A-Video ni mfumo wa Meta wa 2022 ambao hubadilisha kidokezo cha maandishi kuwa klipu fupi ya video bila kupata mafunzo kuhusu jozi za maandishi-video zenye lebo.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
It matters because it showed that the visual knowledge inside text-to-image models could be 'taught' to move using only unlabeled video.
Dive ya kina
Make-A-Video, announced by Meta AI in September 2022, generates brief video clips from text prompts. Its key trick is decoupling appearance from motion: a text-to-image model learns what things look like from paired text-image data, while separate spatiotemporal layers learn how they move from video footage with no associated text. Meta said this reduced the need for paired text-video examples and that the research used publicly available datasets. Meta also described making videos from images and creating new videos similar to existing videos. The base model produces low-resolution, low-frame-rate clips, then dedicated networks interpolate extra frames and upscale spatial resolution. The result was strikingly coherent for its era, though clips were short, blurry, and prone to flicker and warping.
Utekelezaji wa Ulimwengu Halisi
Kuhuisha sentensi moja ya maelezo kuwa klipu fupi ya kitanzi kwa chapisho la media ya kijamii
Kuleta dhana tuli kama 'teddy dubu anayechora picha' kama kielelezo cha kusisimua.
Kutafsiri kati ya picha mbili tulivu zinazotolewa na mtumiaji ili kuunda video laini ya mpito
Inazalisha rasimu za mwendo wa haraka za matukio yanayowaziwa kwa ajili ya ubao wa hadithi kabla ya kurekodi filamu yoyote
Mustakabali wa Maandishi ya Tengeneza-Video-hadi-Video
Mapishi ya mwendo wa picha-kabla-plus-isiyo na lebo ya Make-A-Video yalipanda wimbi zima la maandishi-hadi-video. Vizazi vyake vinasisitiza klipu ndefu zaidi, zenye ubora wa juu, thabiti kwa muda zenye mwendo na sauti zinazoweza kudhibitiwa. Tarajia wazo la msingi, ukitumia tena maarifa makubwa ya picha na mwendo wa kujifunza kwa bei nafuu, ili kuendelea hata kama usanifu unapobadilika kuelekea usambaaji fiche wa kibadilishaji na miundo iliyounganishwa ambayo pia inakubali hali ya picha au video ili kuhaririwa na kuendelea.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Kasi na kiwango. Visual AI inaweza kufanya ukaguzi, ugunduzi na kazi za kuweka lebo kiotomatiki kwa kiwango.
- Tengeneza chaguzi. Timu bunifu zinaweza kuiga dhana kwa haraka zaidi na masahihisho machache ya mikono.
- Timu na mtiririko wa kazi. Uendeshaji unaweza kutumia ishara za picha na video ambazo hapo awali zilikuwa ngumu kuchakata.
Jihadharini na
- Haki za picha na idhini zinaweza kuwa hatari za kisheria ikiwa asili haiko wazi.
- Utendaji wa muundo unaweza kutofautiana katika mwangaza, idadi ya watu na mazingira.
- Chanya za uwongo zinaweza kutotambuliwa isipokuwa viwango vya uaminifu vifuatiliwe.
Hatua zinazofuata
- Bainisha vigezo vya kukubalika vya usahihi, kumbukumbu na gharama za makosa.
- Jaribu kwa kutumia data inayolingana na hali halisi ya uzalishaji.
- Ongeza ukaguzi wa kibinadamu kwa utabiri wa chini au utabiri wa athari kubwa.
- Fuatilia mtindo wa kuteleza na uthibitishe upya baada ya mabadiliko ya kamera au mkusanyiko wa data.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the Make-A-Video Text-to-Video quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
What is Make-A-Video Text-to-Video?
Make-A-Video ni mfumo wa Meta wa 2022 ambao hubadilisha kidokezo cha maandishi kuwa klipu fupi ya video bila kupata mafunzo kuhusu jozi za maandishi-video zenye lebo. Ni muhimu kwa sababu ilionyesha kuwa maarifa yanayoonekana ndani ya miundo ya maandishi-hadi-picha yanaweza 'kufundishwa' kusonga kwa kutumia video isiyo na lebo pekee.
Je, ni uvumbuzi gani mkuu ambao uliruhusu Make-A-Video kuepuka kuhitaji jozi za video-maandishi?
Make-A-Video hutatua tatizo: muundo wa maandishi-hadi-picha hujifunza jinsi mambo yanavyofanana kutoka kwa picha zilizo na maelezo mafupi, huku tabaka tofauti za muda hujifunza mwendo kutoka kwa video mbichi, isiyo na lebo.
Je, Make-A-Video huongeza vipi uwezo wa kusonga kwa modeli ya picha?
Hupanua mabadiliko ya anga ya 2D na umakini kwa tabaka mpya za muda ambazo hujifunza jinsi maudhui hubadilika kadri muda unavyopita.
Je, hatua za kufasiri sura na azimio kuu hufanya nini?
Baada ya rasimu mbaya ya chini, kiwango cha chini, tafsiri huongeza fremu na moduli za azimio bora huongeza azimio.
Ni kizuizi gani cha kawaida cha matokeo ya Make-A-Video?
Klipu zilikuwa sekunde chache tu, zenye mwonekano wa chini kiasi, na kukabiliwa na kumeta na kuvuruga kwa muda.
Besides text prompts, what visual input can Make-A-Video use to create a video?
Meta said Make-A-Video can create videos from images as well as text prompts.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii