AnimateDiff išipopada Iran
AnimateDiff jẹ ilana kan ti o ṣe afikun išipopada si awọn awoṣe itọka ọrọ-si-aworan ti o wa tẹlẹ bi Stable Diffusion, titan awọn olupilẹṣẹ aworan sibẹ awọn olupilẹṣẹ fidio kukuru laisi atunṣe gbogbo awoṣe.
Akopọ
O ṣe pataki nitori pe o jẹ ki ilolupo eda abemi nla ti awọn awoṣe aworan ati awọn aza aṣa ṣe agbejade iwara ni olowo poku.
Jin Dive
AnimateDiff n ṣiṣẹ nipa ikẹkọ ' module išipopada' lọtọ lori awọn agekuru fidio ati lẹhinna pilogi module yẹn sinu tutunini kan, awoṣe itanka aworan ti o ti ni ikẹkọ tẹlẹ gẹgẹbi Stable Diffusion. Awoṣe aworan naa tun n ṣetọju irisi, ara, ati akoonu, lakoko ti module išipopada kọ ẹkọ bii awọn piksẹli ṣe yẹ ki o gbe ati duro ni ibamu laarin awọn fireemu. Ni pataki, nitori awoṣe ipilẹ wa ni didi, module išipopada kanna le jẹ silẹ sori ẹgbẹẹgbẹrun awọn orin itanran agbegbe ati awọn LoRA, nitorinaa anime aṣa olumulo kan, fọto gidi, tabi aaye ayẹwo oluyaworan lojiji gbera. Abajade jẹ deede agekuru kukuru ti o to awọn fireemu 16. Awọn ẹya nigbamii ṣafikun išipopada LoRAs lati ṣakoso awọn gbigbe kamẹra (pan, sun, yipo) ati SparseCtrl fun imudara lori awọn fireemu itọsọna diẹ.
Imọ-imọ-ẹrọ
Module iṣipopada naa ti fi sii bi awọn ipele akiyesi igba diẹ laarin awọn ipele aye to wa ti U-Net. Lakoko denoising, kọọkan fireemu le lọ si awọn miiran awọn fireemu pẹlú kan akoko akoko, ki a oju tabi ohun ti ipilẹṣẹ ni fireemu 1 duro ibamu ni fireemu 8. Nikan awọn wọnyi fẹlẹfẹlẹ igba ni ikẹkọ lori fidio; awọn òṣuwọn aaye jẹ aibikita, eyiti o jẹ idi ti awọn awoṣe aworan aifwy itanran lainidii wa ni ibamu.
Ipa Ilana
Iyara ati iwọn
Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn.
Kọ awọn yiyan
Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ.
Ojo iwaju ti AnimateDiff Motion Iran
AnimateDiff di aafo naa ṣaaju awọn awoṣe fidio iyasọtọ, ati imọ-ẹrọ plug-in rẹ n tẹsiwaju ni ipa lori aaye naa. Reti awọn modulu iṣipopada lati ṣe atilẹyin awọn agekuru gigun, ipinnu ti o ga julọ, ati kamẹra wiwọ ati iṣakoso itọpa, pẹlu iṣọpọ pẹlu itọsọna ara ControlNet. Bii itankale fidio abinibi ti o tobi ati awọn awoṣe fidio oluyipada ti dagba, awọn alamuuṣẹ ara-ara AnimateDiff yoo ṣee ṣe niyelori fun iwara lainidi ile-ikawe nla ti amọja, awọn aaye ayẹwo aworan aṣa ti awọn awoṣe fidio nla ko ṣe ẹda abinibi.
Real-World imuse
Ti ṣe ere idaraya aṣa Anime-ara Iduroṣinṣin Itankale aaye ayẹwo sinu agekuru ohun kikọ kukuru kukuru kan
Ṣafikun sun-un kamẹra ti o lọra tabi pan si ala-ilẹ ti ipilẹṣẹ nipa lilo LoRA išipopada kan
Ṣiṣẹda awọn ohun ilẹmọ ere idaraya kukuru tabi awọn yipo media awujọ lati itọsi ọrọ ẹyọkan
Lilo SparseCtrl pẹlu awọn fireemu bọtini meji lati ṣe itọsọna iyipada laarin awọn iwoye meji
Awọn ewu & Awọn ọna iṣọ
Awọn ẹtọ aworan ati igbanilaaye le di awọn eewu labẹ ofin ti o ba jẹ afihan.
Iṣe awoṣe le yatọ kọja ina, awọn ẹda eniyan, ati awọn agbegbe.
Awọn idaniloju eke le ma ṣe akiyesi ayafi ti a ba ṣe abojuto awọn ala igbẹkẹle.
Ilana Ilana imuse
Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe.
Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi.
Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga.
Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the AnimateDiff Motion Generation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Lumiere Space-Time Video Iran
Awọn ibeere ti a beere nigbagbogbo
Kini AnimateDiff Motion Generation?
AnimateDiff jẹ ilana kan ti o ṣe afikun išipopada si awọn awoṣe itọka ọrọ-si-aworan ti o wa tẹlẹ bi Stable Diffusion, titan awọn olupilẹṣẹ aworan sibẹ awọn olupilẹṣẹ fidio kukuru laisi atunṣe gbogbo awoṣe. O ṣe pataki nitori pe o jẹ ki ilolupo ilolupo nla ti awọn awoṣe aworan ati awọn aza aṣa gbejade iwara lainidi.
Kini imọran mojuto lẹhin AnimateDiff?
AnimateDiff fi module iṣipopada ikẹkọ lọtọ si inu awoṣe ọrọ-si-aworan ti o wa tẹlẹ, tutunini ki o le gbejade išipopada laisi atunṣe awoṣe ipilẹ.
Kini idi ti AnimateDiff le ṣiṣẹ pẹlu ọpọlọpọ awọn awoṣe aworan ti agbegbe ṣe?
Nitori hihan (aaye) òṣuwọn ti wa ni untouched, išipopada module le ti wa ni silẹ pẹlẹpẹlẹ egbegberun itanran-tunes ati LoRAs.
Báwo ni išipopada module pa awọn fireemu ibamu pẹlu kọọkan miiran?
Awọn ipele ifarabalẹ igba diẹ ti a ṣafikun si U-Net jẹ ki fireemu kọọkan wa si awọn miiran lẹgbẹẹ ipo akoko kan, titọju isomọ.
Idile awoṣe wo ni AnimateDiff julọ ni nkan ṣe pẹlu itẹsiwaju?
AnimateDiff jẹ itumọ lati ṣafikun išipopada si Iduroṣinṣin-iṣafihan ara ọrọ-si-aworan awọn awoṣe itọjade.
Kini LoRA išipopada ni eto ilolupo AnimateDiff ni igbagbogbo ṣakoso?
Motion LoRAs ni a ṣe afihan lati darí awọn išipopada kamẹra gẹgẹbi panning, sisun, ati yiyi.