CogVideo na CogVideoX
CogVideo (2022) ilikuwa modeli ya kwanza ya wazi ya maandishi kwa video, na CogVideoX (2024) ndiye mrithi wake wa chanzo-wazi mwenye uwezo zaidi kutoka Tsinghua/Zhipu AI.
Muhtasari
They matter because they put high-quality video generation into the hands of the open community, not just big corporate labs.
Dive ya kina
CogVideo, iliyotolewa mwaka wa 2022, iliyojengwa kwa kibadilishaji maandishi cha CogView2 cha kubadilisha maandishi hadi picha na ilitumia mbinu ya fremu nyingi na isiyoweza kubadilika ili kutoa klipu fupi, na kuwa modeli ya kwanza iliyotolewa kwa uwazi ya kubadilisha maandishi hadi video na kuunga mkono maongozi ya Kichina na Kiingereza. Mrithi wake wa 2024, CogVideoX, ni usanifu upya kamili: hutumia kisimbaji otomatiki cha 3D causal causal kubana video katika nafasi na wakati, kisha Kibadilishaji Kitaalam chenye lengo la uenezi ambalo huhudhuria kwa pamoja juu ya maandishi na ishara za video zilizounganishwa pamoja. Miundo ya CogVideoX (katika saizi kama vile vigezo vya 2B na 5B) hutoa sekunde kadhaa za video thabiti, yenye mwendo wa juu katika maazimio kama vile 720x480 na inasaidia uendelezaji wa picha hadi video na video. Muhimu, uzani na kanuni ni za umma, na kuchochea wimbi la nyimbo nzuri za jamii, zana na utafiti.
Ufahamu wa Kiufundi
Chanzo cha 3D cha CogVideoX VAE hupunguza video mbichi hadi sauti fupi iliyofichika, na kufyeka hesabu ya tokeni ili kibadilishaji kielekezi cha mifuatano mirefu kwa bei nafuu. Kibadilishaji Kitaalamu hutumia kawaida ya safu inayobadilika na kuambatanisha ishara za maandishi na zinazoonekana ili mbinu hizo mbili zishughulikiane moja kwa moja, na kuboresha upatanishi wa maandishi na video. Mafunzo yanayoendelea juu ya kuongeza maazimio na muda, pamoja na uwekaji manukuu makini wa data, hutoa mwendo laini na mwaminifu zaidi kisemantiki.
Athari za kimkakati
Kasi na kiwango
Visual AI inaweza kufanya ukaguzi, ugunduzi na kazi za kuweka lebo kiotomatiki kwa kiwango.
Tengeneza chaguzi
Timu bunifu zinaweza kuiga dhana kwa haraka zaidi na masahihisho machache ya mikono.
Timu na mtiririko wa kazi
Uendeshaji unaweza kutumia ishara za picha na video ambazo hapo awali zilikuwa ngumu kuchakata.
Mustakabali wa CogVideo na CogVideoX
Kama mojawapo ya miundo thabiti zaidi ya video zilizo wazi, CogVideoX inashikilia mfumo ikolojia unaokua kwa kasi wa nyimbo bora, adapta za kudhibiti, na viendelezi vya muda mrefu. Tarajia faida zinazoendelea katika urefu wa klipu, azimio, uhalisia wa mwendo, na udhibiti, pamoja na muunganisho mkali zaidi wa picha-kwa-video na uhariri wa mtiririko wa kazi. Uzito wake wazi unamaanisha mashirika yasiyo ya faida, watafiti, na studio ndogo zinaweza kuunda kwenye uzalishaji wa video za kiwango cha mpaka bila ulindaji wa umiliki, na kuharakisha majaribio ya ubunifu na yanayozingatia usalama.
Utekelezaji wa Ulimwengu Halisi
Inazalisha klipu fupi ya simulizi kutoka kwa haraka ya Kichina au Kiingereza kwa kutumia uzani uliofunguliwa kikamilifu
Kubadilisha picha tulivu iliyopakiwa kuwa video inayosonga kupitia picha hadi video ya CogVideoX
Kuboresha muundo wa wazi kwenye mtindo maalum au mhusika kwa uhuishaji wa indie
Watafiti wakilinganisha mbinu mpya za kutengeneza video dhidi ya msingi wazi unaoweza kuzalishwa tena
Hatari & Walinzi
Haki za picha na idhini zinaweza kuwa hatari za kisheria ikiwa asili haiko wazi.
Utendaji wa muundo unaweza kutofautiana katika mwangaza, idadi ya watu na mazingira.
Chanya za uwongo zinaweza kutotambuliwa isipokuwa viwango vya uaminifu vifuatiliwe.
Ramani ya Utekelezaji
Bainisha vigezo vya kukubalika vya usahihi, kumbukumbu na gharama za makosa.
Jaribu kwa kutumia data inayolingana na hali halisi ya uzalishaji.
Ongeza ukaguzi wa kibinadamu kwa utabiri wa chini au utabiri wa athari kubwa.
Fuatilia mtindo wa kuteleza na uthibitishe upya baada ya mabadiliko ya kamera au mkusanyiko wa data.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the CogVideo and CogVideoX quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Uhariri wa Maagizo ya InstructPix2Pix
Maswali yanayoulizwa mara kwa mara
What is CogVideo and CogVideoX?
CogVideo (2022) ilikuwa modeli ya kwanza ya wazi ya maandishi kwa video, na CogVideoX (2024) ndiye mrithi wake wa chanzo-wazi mwenye uwezo zaidi kutoka Tsinghua/Zhipu AI. Ni muhimu kwa sababu wanaweka utayarishaji wa video wa hali ya juu mikononi mwa jamii iliyo wazi, sio tu maabara kubwa za kampuni.
Ni nini kinachojulikana kuhusu toleo la 2022 la CogVideo?
CogVideo ilikuwa muundo wa kwanza wa kiwango kikubwa wa maandishi kwa video iliyotolewa kwa uwazi, ikisaidia maongozi ya Kichina na Kiingereza.
Je, sababu ya VAE ya 3D ya CogVideoX inatimiza nini?
VAE ya 3D causal hubana video katika vipimo vya anga na vya muda, na kupunguza hesabu ya tokeni ili kibadilishaji kiweze kuigiza kwa ufanisi.
Je, Transformer ya Mtaalam katika CogVideoX inashughulikiaje maandishi na video?
Kibadilishaji Kitaalamu huunganisha tokeni za maandishi na zinazoonekana pamoja na urekebishaji unaobadilika, kuboresha upatanishi kati ya video ya papo hapo na inayozalishwa.
Ni kikundi gani kilianzisha CogVideo na CogVideoX?
Familia ya CogVideo inatoka kwa watafiti wanaohusishwa na Chuo Kikuu cha Tsinghua na Zhipu AI.
Kando na maandishi-kwa-video, CogVideoX inasaidia uwezo gani wa ziada?
CogVideoX inaweza kuhuisha picha tuli (picha-kwa-video) na kupanua klipu zilizopo (mwendelezo), zaidi ya vidokezo vya maandishi wazi.