CogVideo ati CogVideoX
CogVideo (2022) jẹ awoṣe ṣiṣi ọrọ-si-fidio ni iwọn nla akọkọ akọkọ, ati CogVideoX (2024) jẹ arọpo orisun ṣiṣi ti o lagbara pupọ julọ lati Tsinghua/Zhipu AI.
Akopọ
They matter because they put high-quality video generation into the hands of the open community, not just big corporate labs.
Jin Dive
CogVideo, ti a tu silẹ ni ọdun 2022, ti a ṣe lori oluyipada ọrọ-si-aworan CogView2 ati pe o lo iwọn-fireemu-ọpọlọpọ, ọna adaṣe lati ṣe agbejade awọn agekuru kukuru, di akọkọ ni gbangba ti a tujade awoṣe-si-fidio nla ati atilẹyin Kannada ati Gẹẹsi. Arọpo 2024 rẹ, CogVideoX, jẹ atunkọ pipe: o nlo 3D aṣiwadi iyatọ autoencoder lati fun pọ fidio ni aaye mejeeji ati akoko, lẹhinna Ayipada Amoye kan pẹlu ibi-afẹde itankale ti o wa ni apapọ lori ọrọ ati awọn ami fidio ti a dapọ. Awọn awoṣe CogVideoX (ni awọn iwọn bi 2B ati 5B paramita) ṣe agbejade awọn aaya pupọ ti isokan, fidio išipopada giga ni awọn ipinnu bii 720x480 ati atilẹyin aworan-si-fidio ati ilọsiwaju fidio. Ni pataki, awọn òṣuwọn ati koodu jẹ ti gbogbo eniyan, ti nmu igbi ti awọn ohun orin-itanran agbegbe, awọn irinṣẹ, ati iwadii.
Imọ-imọ-ẹrọ
CogVideoX's 3D causal VAE dinku fidio aise sinu iwọn didun wiwaba iwapọ, dinku kika ami naa ki oluyipada kan le ṣe awoṣe awọn ilana gigun ni ifarada. Ayipada Amoye kan kan iwuwasi Layer aṣamubadọgba ati pe o ṣajọpọ ọrọ ati awọn ami wiwo nitoribẹẹ awọn ọna meji wa si ara wọn taara, imudarasi titete ọrọ-fidio. Ikẹkọ ilọsiwaju lori jijẹ awọn ipinnu ati awọn akoko ipari, pẹlu ifori data ṣọra, jẹ ki o rọra, iṣipopada olotitọ ni itumọ diẹ sii.
Ipa Ilana
Iyara ati iwọn
Visual AI le ṣe adaṣe adaṣe, wiwa, ati awọn iṣẹ ṣiṣe taagi ni iwọn.
Kọ awọn yiyan
Awọn ẹgbẹ ẹda le ṣe apẹrẹ awọn imọran yiyara pẹlu awọn atunyẹwo afọwọṣe diẹ.
Ẹgbẹ ati ṣiṣan iṣẹ
Awọn iṣẹ ṣiṣe le lo aworan ati awọn ifihan agbara fidio ti o nira tẹlẹ lati ṣiṣẹ.
Ojo iwaju ti CogVideo ati CogVideoX
Gẹgẹbi ọkan ninu awọn awoṣe fidio ṣiṣi ti o lagbara julọ, CogVideoX ṣe idamu ilolupo ilolupo iyara ti awọn ohun-itumọ ti o dara, awọn oluyipada iṣakoso, ati awọn amugbooro gigun-gun. Reti awọn anfani ti o tẹsiwaju ni gigun agekuru, ipinnu, otito išipopada, ati agbara iṣakoso, pẹlu isọdọkan ju pẹlu aworan-si-fidio ati ṣiṣatunṣe ṣiṣiṣẹsẹhin. Awọn iwuwo ṣiṣi rẹ tumọ si awọn ti ko ni ere, awọn oniwadi, ati awọn ile-iṣere kekere le kọ lori iran fidio aala-aala laisi aabo ẹnu-ọna ohun-ini, isare mejeeji ẹda ati adaṣe idojukọ-aabo.
Real-World imuse
Ṣiṣẹda agekuru itan kukuru lati Kannada tabi Gẹẹsi itọsona nipa lilo awọn iwuwo ṣiṣi silẹ ni kikun
Yipada aworan kan ti o gbejade nikan sinu fidio gbigbe nipasẹ aworan-si-fidio CogVideoX
Titun-tuntun awoṣe ṣiṣi lori aṣa aṣa tabi ihuwasi fun iwara indie
Awọn oniwadi ṣe ipilẹ awọn ọna iran-fidio tuntun lodi si ipilẹ ṣiṣi ti o le ṣe atunṣe
Awọn ewu & Awọn ọna iṣọ
Awọn ẹtọ aworan ati igbanilaaye le di awọn eewu labẹ ofin ti o ba jẹ afihan.
Iṣe awoṣe le yatọ kọja ina, awọn ẹda eniyan, ati awọn agbegbe.
Awọn idaniloju eke le ma ṣe akiyesi ayafi ti a ba ṣe abojuto awọn ala igbẹkẹle.
Ilana Ilana imuse
Ṣetumo awọn ibeere gbigba fun pipe, iranti, ati awọn idiyele aṣiṣe.
Ṣe idanwo pẹlu data ti o baamu awọn ipo iṣelọpọ gidi.
Ṣafikun atunyẹwo eniyan fun igbẹkẹle kekere tabi awọn asọtẹlẹ ipa-giga.
Tọpinpin awoṣe ki o ṣe tunṣe lẹhin kamẹra tabi awọn ayipada datasetto.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the CogVideo and CogVideoX quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
InstructPix2Pix Ilana Ṣiṣatunṣe
Awọn ibeere ti a beere nigbagbogbo
What is CogVideo and CogVideoX?
CogVideo (2022) jẹ awoṣe ṣiṣi ọrọ-si-fidio ni iwọn nla akọkọ akọkọ, ati CogVideoX (2024) jẹ arọpo orisun ṣiṣi ti o lagbara pupọ julọ lati Tsinghua/Zhipu AI. Wọn ṣe pataki nitori wọn fi iran fidio ti o ni agbara giga si ọwọ ti agbegbe ṣiṣi, kii ṣe awọn ile-iṣẹ ile-iṣẹ nla nikan.
Kini ohun akiyesi nipa itusilẹ CogVideo 2022?
CogVideo jẹ awoṣe titobi-akọkọ-si-fidio ti a tu silẹ ni gbangba, ṣe atilẹyin mejeeji Kannada ati awọn itọsi Gẹẹsi.
Kini idi VAE ti CogVideoX ṣe aṣeyọri?
Idiwọn 3D VAE ṣe akopọ fidio kọja aaye mejeeji ati awọn iwọn akoko, idinku iye ami-ami ki ẹrọ oluyipada le ṣe awoṣe rẹ daradara.
Bawo ni Ayipada Amoye ni CogVideoX ṣe itọju ọrọ ati fidio?
Amunawa Ayipada fuses ọrọ ati awọn ami wiwo papọ pẹlu isọdọtun isọdọtun, imudara titete laarin kiakia ati fidio ti ipilẹṣẹ.
Ẹgbẹ wo ni idagbasoke CogVideo ati CogVideoX?
Idile CogVideo wa lati ọdọ awọn oniwadi ti o ni nkan ṣe pẹlu Ile-ẹkọ giga Tsinghua ati Zhipu AI.
Yato si ọrọ-si-fidio, agbara afikun wo ni atilẹyin CogVideoX?
CogVideoX le ṣe ere aworan ti o duro (aworan-si-fidio) ati fa awọn agekuru to wa tẹlẹ (itẹsiwaju), kọja awọn itọsi ọrọ itele.