Lumiere Space-Time Video Iran
Lumiere jẹ awoṣe itankale ọrọ-si-fidio lati Google Iwadi ti o ṣe agbejade gbogbo agekuru fidio ni ẹẹkan ni lilo Space-Time U-Net.
Akopọ
It matters because it tackles temporal consistency at the architecture level, producing smoother, more coherent motion than pipelines that stitch keyframes together.
Jin Dive
Ti ṣe ifilọlẹ ni ibẹrẹ ọdun 2024, Lumiere koju awọn “awọn fireemu bọtini itẹwe lẹhinna fọwọsi” apẹrẹ ti ọpọlọpọ awọn olupilẹṣẹ fidio lo. Awọn isunmọ kasikedi wọnyẹn kọkọ ṣe ipilẹṣẹ awọn fireemu bọtini jijin diẹ lẹhinna interpolate, eyiti o le ṣẹda alarinrin tabi išipopada aiṣedeede nitori ko si nẹtiwọọki ẹyọkan ti o rii akoko ni kikun. Lumiere dipo ṣe ipilẹṣẹ gbogbo iye akoko ti agekuru ni ọna kan pẹlu Space-Time U-Net (STUNet). Nẹtiwọọki naa dinku awọn apẹẹrẹ ni aaye ati akoko mejeeji, ṣiṣe aṣoju iwapọ ti gbogbo fidio papọ ki iṣipopada jẹ iṣọkan agbaye. Apẹrẹ yii tun ngbanilaaye ọpọlọpọ awọn iṣẹ ṣiṣe ṣiṣatunṣe bii aworan-si-fidio, kikun, iran ti aṣa, ati “awọn sinima” ti o ṣe ere nikan ni agbegbe ti o yan ti iduro.
Imọ-imọ-ẹrọ
Awọn mojuto ero ni Space-Time U-Net. Aworan boṣewa U-Net downsamples ati awọn iṣagbega ni iwọn ati giga; STUNet ṣe afikun awọn akoko akoko, downsampling ni aaye ati akoko jọ. Nipa fisinuirindigbindigbin iwọn igba diẹ, netiwọki le di agekuru ni kikun si iranti ati lo awọn iyipada mejeeji ati akiyesi lori gbogbo awọn fireemu nigbakanna. Nitoripe o ṣe agbejade gbogbo awọn fireemu ni iwe-iwọle iṣọkan kan kuku ju sisọ laarin awọn fireemu bọtini fọnka, iṣipopada abajade jẹ deede diẹ sii ni agbaye.
Ipa Ilana
Iyara ati iwọn
Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn.
Kọ awọn yiyan
Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ.
Ojo iwaju ti Lumiere Space-Time Video Iran
Ikọja-ẹyọkan Lumiere, imoye akoko-kikun ni ipa bi aaye naa ṣe nro nipa isọdọkan igba diẹ, paapaa bi ipinnu ati gigun agekuru n gun oke kọja awọn eto idije. Awọn awoṣe fidio ti ọjọ iwaju yoo ṣe idapọ awọn ayaworan akoko-aye pẹlu funmorawon ijafafa lati Titari si gigun, ipinnu-giga, awọn agekuru iṣakoso. Reti itesiwaju ilọsiwaju lori awọn iṣakoso ṣiṣatunṣe, ere idaraya-pato agbegbe, ati fisiksi ojulowo, lẹgbẹẹ ifarabalẹ ti ndagba si isunmọ ati isamisi omi bi iru awọn irinṣẹ ṣe jẹ ki fidio sintetiki ti o ni idaniloju di irọrun lati gbejade.
Real-World imuse
Yipada itọsi ọrọ taara si agekuru išipopada iṣẹju-aaya kan ti o somọ
Ṣiṣẹda awọn aworan sinima ti o kan omi tabi irun ni fọto bibẹẹkọ ti o tun wa
Lilo irisi aṣa, bii iwe-iwe tabi awọ omi, ni igbagbogbo kọja fidio ti ipilẹṣẹ
Kikun fidio lati fi sii tabi yọkuro ohun gbigbe kan lakoko ti o ntọju išipopada lainidi
Awọn ewu & Awọn ọna iṣọ
Awọn ẹtọ aworan ati igbanilaaye le di awọn eewu labẹ ofin ti o ba jẹ afihan.
Iṣe awoṣe le yatọ kọja ina, awọn ẹda eniyan, ati awọn agbegbe.
Awọn idaniloju eke le ma ṣe akiyesi ayafi ti a ba ṣe abojuto awọn ala igbẹkẹle.
Ilana Ilana imuse
Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe.
Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi.
Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga.
Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Lumiere Space-Time Video Generation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Tune-A-Video Ọkan-Shot Ṣatunkọ
Awọn ibeere ti a beere nigbagbogbo
What is Lumiere Space-Time Video Generation?
Lumiere jẹ awoṣe itankale ọrọ-si-fidio lati Google Iwadi ti o ṣe agbejade gbogbo agekuru fidio ni ẹẹkan ni lilo Space-Time U-Net. O ṣe pataki nitori pe o dojukọ aitasera igba diẹ ni ipele faaji, ti n ṣe agbejade rirọrun, išipopada isọpọ diẹ sii ju awọn opo gigun ti epo ti o di awọn fireemu bọtini papọ.
Kini ẹya ara ẹrọ asọye ti Lumiere?
Lumiere's Space-Time U-Net (STUNet) awọn apẹẹrẹ isalẹ ni aaye mejeeji ati akoko lati ṣe agbekalẹ iye akoko akoko ni kikun ni igbasilẹ kan.
Bawo ni Lumiere ṣe yatọ si awọn awoṣe fidio kasikedi ti o wọpọ?
Dipo ki o ṣe ipilẹṣẹ awọn fireemu bọtini jijin ati awọn ela kikun, Lumiere ṣe agbejade gbogbo Ago ni iwe-iwọle isokan kan.
Ohun ti isoro Lumiere ká nikan-kọja oniru julọ taara?
Nipa nini nẹtiwọki kan wo gbogbo Ago, Lumiere ṣaṣeyọri diẹ sii ibaramu agbaye, ti o kere si iṣipopada jerky.
Ni awọn iwọn wo ni Space-Time U-Net downsample?
STUNet downsamples kọja aaye ati akoko papo, compressing awọn agekuru ki awọn kikun fidio jije ati awọn fireemu ti wa ni ilọsiwaju lapapo.
Eyi ti Creative ipa, animating nikan ara ti a si tun image, atilẹyin Lumiere?
Lumiere le gbe awọn cinemagraphs, animating a yan ekun ti ẹya bibẹkọ ti aimi image.