Ṣe-A-Fidio Ọrọ-si-Fidio
Make-A-Video jẹ eto 2022 ti Meta ti o yi itọka ọrọ pada si agekuru fidio kukuru laisi ikẹkọ lailai lori awọn orisii ọrọ-fidio ti a samisi.
Akopọ
It matters because it showed that the visual knowledge inside text-to-image models could be 'taught' to move using only unlabeled video.
Jin Dive
Make-A-Video, ti a kede nipasẹ Meta AI ni Oṣu Kẹsan 2022, ṣe ipilẹṣẹ fidio iṣẹju diẹ lati gbolohun ọrọ bi 'aja ti o wọ cape superhero ti n fo nipasẹ ọrun.' Ẹtan bọtini rẹ jẹ yiyọkuro irisi lati išipopada: awoṣe ọrọ-si-aworan (ti a ṣe lori aaye CLIP-ara apapọ ọrọ-aworan ati itankale) kọ ẹkọ kini ohun ti o dabi lati awọn ọkẹ àìmọye ti awọn aworan ifori, lakoko ti awọn Layer spatiotemporal lọtọ kọ ẹkọ bi awọn nkan ṣe nlọ lati fidio ti ko ni aami nikan. Eyi ni ipadabọ aito ti awọn orisii fidio ọrọ ti o ni agbara giga. Awoṣe ipilẹ ṣe agbejade ipinnu-kekere, awọn agekuru oṣuwọn-fireemu kekere, lẹhinna awọn nẹtiwọọki igbẹhin interpolate awọn fireemu afikun ati ipinnu aye titobi. Abajade jẹ ibaramu ni iyalẹnu fun akoko rẹ, botilẹjẹpe awọn agekuru jẹ kukuru, blurry, ati itara lati flicker ati ija.
Imọ-imọ-ẹrọ
Ṣe-A-Video fa awọn iyipada iran aworan 2D ati akiyesi sinu 3D nipa fifi awọn fẹlẹfẹlẹ afarape-akoko kun. Awọn iwuwo aye ti a ti kọkọ tẹlẹ jẹ tutunini tabi aifwy daradara lakoko ti awọn fẹlẹfẹlẹ igba diẹ kọ ẹkọ išipopada lati fidio aise, nitorinaa ko nilo awọn aami-fidio ọrọ-ọrọ. Nẹtiwọọki-interpolation-fireemu lẹhinna densifies aago ati awọn modulu itusilẹ ipinnu-giga ti o gbe awọn alaye aye soke, titan isokuso 16-fireemu, iwe kekere-res sinu didan, agekuru didan ni opo gigun ti epo cascaded.
Ipa Ilana
Iyara ati iwọn
Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn.
Kọ awọn yiyan
Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ.
Ọjọ iwaju ti Ṣe-A-Fidio Ọrọ-si-Fidio
Ṣe-A-Fidio ká aworan-ṣaaju-plus-unlabeled-išipopada ohunelo irugbin gbogbo ọrọ-si-fidio igbi. Awọn ọmọ rẹ tẹnumọ gigun, ipinnu giga, awọn agekuru iduroṣinṣin igba diẹ pẹlu išipopada kamẹra iṣakoso ati ohun. Reti imọran pataki, atunlo imọ aworan nla ati išipopada ikẹkọ ni olowo poku, lati tẹsiwaju paapaa bi awọn ile ayaworan ṣe yipada si itankale wiwakọ ti o da lori ẹrọ iyipada ati awọn awoṣe iṣọkan ti o tun gba aworan tabi karabosipo fidio fun ṣiṣatunṣe ati itesiwaju.
Real-World imuse
Imirara gbolohun asọye kan ṣoṣo sinu agekuru looping kukuru kan fun ifiweranṣẹ awujọ kan
Gbigbe imọran aimi kan bi 'Teddi agbateru kikun aworan kan' si igbesi aye gẹgẹbi apejuwe gbigbe
Ibaṣepọ laarin awọn aworan oluṣamulo meji ti a pese lati ṣẹda fidio iyipada didan
Ṣiṣẹda awọn iyaworan išipopada iyara ti awọn oju iṣẹlẹ ti a riro fun titan itan-akọọlẹ ṣaaju ṣiṣe aworan eyikeyi
Awọn ewu & Awọn ọna iṣọ
Awọn ẹtọ aworan ati igbanilaaye le di awọn eewu labẹ ofin ti o ba jẹ afihan.
Iṣe awoṣe le yatọ kọja ina, awọn ẹda eniyan, ati awọn agbegbe.
Awọn idaniloju eke le ma ṣe akiyesi ayafi ti a ba ṣe abojuto awọn ala igbẹkẹle.
Ilana Ilana imuse
Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe.
Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi.
Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga.
Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Make-A-Video Text-to-Video quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Sora ati Ọrọ-si-Fidio
Awọn ibeere ti a beere nigbagbogbo
What is Make-A-Video Text-to-Video?
Make-A-Video jẹ eto 2022 ti Meta ti o yi itọka ọrọ pada si agekuru fidio kukuru laisi ikẹkọ lailai lori awọn orisii ọrọ-fidio ti a samisi. O ṣe pataki nitori pe o fihan pe imọ wiwo inu awọn awoṣe ọrọ-si-aworan le jẹ 'kọwa' lati gbe ni lilo fidio ti ko ni aami nikan.
Kini isọdọtun aarin ti o jẹ ki Ṣe-A-Fidio yago fun iwulo awọn orisii ọrọ-fidio ti a samisi?
Ṣe-A-Video ṣe ipinnu iṣoro naa: awoṣe ọrọ-si-aworan kọ ẹkọ kini awọn nkan ṣe dabi lati awọn aworan ifori, lakoko ti awọn fẹlẹfẹlẹ igba otutu lọtọ kọ ẹkọ išipopada lati aise, fidio ti ko ni aami.
Bawo ni Ṣe-A-Fidio ṣe ṣafikun agbara išipopada si awoṣe aworan kan?
O fa awọn iyipada aaye 2D ati akiyesi pẹlu awọn ipele igba diẹ ti o kọ ẹkọ bii akoonu ṣe yipada lori akoko.
Kí ni fireemu-interpolation ati Super-o ga awọn ipele ṣe?
Lẹhin isunmọ kekere-res, iwọn kekere-fireemu yiyan, interpolation ṣe afikun awọn fireemu ati awọn modulu ipinnu-suga gbe ipinnu naa ga.
Kini aropin aṣoju ti iṣelọpọ Ṣe-A-Fidio?
Awọn agekuru jẹ iṣẹju-aaya diẹ, ipinnu kekere jo, ati itara si flicker igba diẹ ati ipalọlọ.