Awọn awoṣe Itankale fidio
Awọn awoṣe itọka fidio n ṣe agbekalẹ awọn aworan gbigbe nipa yiyi ariwo laileto diėdiẹ sinu awọn fireemu isokan, fa ero itanka kaakiri lati awọn aworan si akoko.
Akopọ
They are the engine behind today's most realistic AI video.
Jin Dive
Awọn awoṣe itankale kọ ẹkọ lati yiyipada ilana ariwo kan: lakoko ikẹkọ, data mimọ ni ariwo ni ilọsiwaju ti a ṣafikun, ati nẹtiwọọki naa kọ ẹkọ lati ṣe asọtẹlẹ ati yọ ariwo naa ni igbesẹ nipasẹ igbese. Itankale fidio kan eyi si awọn itọsẹ ti awọn fireemu, pẹlu afikun pataki ti awoṣe akoko ki išipopada duro dan ati awọn nkan wa ni ibamu ni gbogbo akoko. Lati jẹ ki iṣiro ṣe itọka, pupọ julọ awọn ọna ṣiṣe jẹ awọn awoṣe itọka wiwakọ, ti n ṣiṣẹ ni aaye wiwakọ fisinuirindigbindigbin dipo lori awọn piksẹli aise. Awọn ẹya ara ẹrọ wa lati 3D U-Nets pẹlu aaye ati akiyesi akoko si awọn oluyipada ti ntan kaakiri (DiTs) ti o tọju fidio bi awọn ami-akoko aaye. Idile yii ni agbara Sora, Itanilẹ fidio Stable, Runway Gen-3, Google Veo, ati Pika, ati atilẹyin ọrọ-si-fidio, aworan-si-fidio, ati ṣiṣatunkọ fidio.
Imọ-imọ-ẹrọ
Ẹtan bọtini naa ni fifi awọn ipele igba diẹ kun, gẹgẹbi akiyesi igba diẹ tabi awọn iyipada 3D, nitorinaa awọn fireemu ko kọlu ni apapọ dipo ominira, eyiti o ṣe idiwọ flicker ati išipopada aiṣedeede. Iran nlo itoni-ọfẹ classifier lati tẹle itọsi ọrọ ni agbara, ati koodu koodu VAE ti o kọ ẹkọ / decoder n lọ laarin awọn piksẹli ati aaye wiwaba. Iṣapẹẹrẹ ọpọlọpọ awọn igbesẹ denoising jẹ o lọra, nitorinaa distillation ati awọn oluyanju yiyara ni a lo lati ge nọmba awọn igbesẹ ti o nilo.
Ipa Ilana
Iyara ati iwọn
Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn.
Kọ awọn yiyan
Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ.
Ojo iwaju ti Awọn awoṣe Itankale Fidio
Iwadi n sare-ije si ọna pipẹ, ipinnu giga, iran-akoko gidi pẹlu ohun amuṣiṣẹpọ ati ojulowo ti ara ti o dara julọ. Awọn ayirapada kaakiri ti o ṣe iwọn mimọ pẹlu data ati iṣiro n di apẹrẹ ti o ga julọ, ati awọn awoṣe distilled-igbesẹ diẹ ti n jẹ ki iran yiyara yiyara. Reti iṣakoso wiwọ lori kamẹra, awọn ohun kikọ, ati awọn atunṣe, pẹlu awọn isunmọ arabara ti o dapọ kaakiri pẹlu awọn ọna ipilẹṣẹ miiran. Bi didara ṣe n dide, isamisi omi ti o lagbara ati awọn iṣedede-ifihan akoonu yoo jẹ pataki lati ṣakoso ilokulo.
Real-World imuse
Ngba agbara ọrọ-si-fidio awọn irinṣẹ bii Itupalẹ Fidio Stable, Runway Gen-3, ati Pika fun awọn olupilẹṣẹ
Aworan-si-fidio ti ere idaraya ti o mu fọto kan wa si igbesi aye pẹlu išipopada ojulowo
Ṣiṣatunṣe fidio ti AI-iranlọwọ, kikun, ati gbigbe ara laarin awọn iṣan-iṣẹ iṣelọpọ ifiweranṣẹ ọjọgbọn
Ṣiṣẹda aworan ikẹkọ sintetiki ati awọn iṣeṣiro fun awọn ẹrọ roboti ati iwadii ọkọ ayọkẹlẹ adase
Awọn ewu & Awọn ọna iṣọ
Awọn ẹtọ aworan ati igbanilaaye le di awọn eewu labẹ ofin ti o ba jẹ afihan.
Iṣe awoṣe le yatọ kọja ina, awọn ẹda eniyan, ati awọn agbegbe.
Awọn idaniloju eke le ma ṣe akiyesi ayafi ti a ba ṣe abojuto awọn ala igbẹkẹle.
Ilana Ilana imuse
Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe.
Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi.
Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga.
Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Video Diffusion Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Awoṣe Itankale GLIDE
Awọn ibeere ti a beere nigbagbogbo
What is Video Diffusion Models?
Awọn awoṣe itọka fidio n ṣe agbekalẹ awọn aworan gbigbe nipa yiyi ariwo laileto diėdiẹ sinu awọn fireemu isokan, fa ero itanka kaakiri lati awọn aworan si akoko. Wọn jẹ ẹrọ lẹhin fidio AI ojulowo julọ loni.
Kini imọran ipilẹ lẹhin awoṣe itankale?
Awọn awoṣe itọka ti ni ikẹkọ lati yọ ariwo ti a ṣafikun ni ilọsiwaju si data, lẹhinna ṣe ipilẹṣẹ nipasẹ didasilẹ lati ariwo mimọ.
Kini awọn awoṣe itọka fidio ṣe afikun ni akawe si awọn awoṣe itankale aworan?
Ni ikọja ti ipilẹṣẹ fireemu kọọkan, itankale fidio gbọdọ ṣe ipoidojuko awọn fireemu kọja akoko, to nilo awọn ipele igba diẹ lati jẹ ki iṣipopada ibaramu.
Kini idi ti ọpọlọpọ awọn awoṣe itọka fidio n ṣiṣẹ ni aaye 'aitọpin' kan?
Aise fidio jẹ tobi pupo; fifi koodu pamọ sinu aaye wiwakọ kekere nipasẹ VAE kan jẹ ki denoising jina siwaju sii daradara.
Kini ipa ti akiyesi igba diẹ tabi awọn iyipada 3D ninu awọn awoṣe wọnyi?
Awọn fẹlẹfẹlẹ igba diẹ so alaye pọ kọja awọn fireemu, idilọwọ flicker ati ṣiṣe agbejade iṣọpọ dipo ominira, awọn fireemu jittery.
Ilana wo ni o ṣe iranlọwọ fun awoṣe itankale fidio kan tẹle itọ ọrọ kan ni agbara bi?
Itọnisọna-ọfẹ Kilasifamu n dari ilana didasilẹ ni agbara diẹ sii si itara mimu, imudarasi ifaramọ kiakia.