CogVideo 和 CogVideoX
CogVideo (2022) 是第一个大规模开放的文本到视频模型，CogVideoX (2024) 是清华/智普人工智能的更强大的开源继承者。
概述
They matter because they put high-quality video generation into the hands of the open community, not just big corporate labs.
深入探讨
CogVideo于2022年发布，基于CogView2文本转图像转换器构建，采用多帧率、自回归的方法生成短片，成为第一个公开发布的大型文本转视频模型，并支持中英文提示。它的 2024 年继任者 CogVideoX 是一次彻底的重新设计：它使用 3D 因果变分自动编码器在空间和时间上压缩视频，然后使用具有扩散目标的专家转换器，共同参与融合在一起的文本和视频令牌。 CogVideoX 模型（尺寸如 2B 和 5B 参数）能够以 720x480 等分辨率生成几秒的连贯、高动态视频，并支持图像到视频和视频连续。至关重要的是，权重和代码是公开的，这推动了社区微调、工具和研究的浪潮。
技术洞察
CogVideoX 的 3D 因果 VAE 将原始视频缩小为紧凑的潜在体积，从而减少了令牌数量，因此转换器可以经济地对长序列进行建模。专家转换器应用自适应层规范并连接文本和视觉标记，以便两种模式直接相互影响，从而改善文本视频对齐。对增加分辨率和持续时间的渐进式训练，加上仔细的数据字幕，可以产生更平滑、语义上更忠实的运动。
战略影响
速度与规模
视觉人工智能可以大规模自动化检查、检测和标记任务。
构建选择
创意团队可以通过更少的手动修改更快地构建概念原型。
团队与工作流程
操作可以使用以前难以处理的图像和视频信号。
CogVideo 和 CogVideoX 的未来
作为最强大的开放视频模型之一，CogVideoX 锚定了一个快速增长的微调、控制适配器和较长持续时间扩展的生态系统。预计剪辑长度、分辨率、运动真实感和可控性将持续提高，并且与图像到视频和编辑工作流程的集成将更加紧密。其开放权重意味着非营利组织、研究人员和小型工作室可以在没有专有把关的情况下构建前沿级视频生成，从而加速以创意和安全为重点的实验。
现实世界的实施
使用完全开放权重根据中文或英文提示生成简短的叙事剪辑
通过 CogVideoX 图像转视频将单个上传的静态图像转换为移动视频
根据独立动画的自定义风格或角色微调开放模型
研究人员根据可重复的开放基线对新的视频生成方法进行基准测试
风险与防护栏
如果出处不明，肖像权和同意可能会成为法律风险。
模型性能可能因光照、人口统计和环境的不同而有所不同。
除非监控置信阈值，否则误报可能会被忽视。
实施路线图
定义精确度、召回率和错误成本的接受标准。
使用符合实际生产条件的数据进行测试。
为低置信度或高影响力的预测添加人工审核。
跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the CogVideo and CogVideoX quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is CogVideo and CogVideoX?
CogVideo (2022) 是第一个大规模开放的文本到视频模型，CogVideoX (2024) 是清华/智普人工智能的更强大的开源继承者。它们很重要，因为它们将高质量的视频生成交给了开放社区，而不仅仅是大型企业实验室。
CogVideo 2022 年版本有哪些值得注意的地方？
CogVideo是第一个公开发布的大型文本转视频模型，支持中英文提示。
CogVideoX 的 3D 因果 VAE 实现了什么？
3D 因果 VAE 在空间和时间维度上压缩视频，减少标记数量，以便转换器可以有效地对其进行建模。
CogVideoX 中的 Expert Transformer 如何处理文本和视频？
Expert Transformer 将文本和视觉标记与自适应标准化融合在一起，从而改善提示和生成视频之间的对齐。
CogVideo 和 CogVideoX 是哪个小组开发的？
CogVideo家族来自清华大学和智普AI的研究人员。
除了文本转视频之外，CogVideoX 还支持哪些附加功能？
CogVideoX 可以将静态图像动画化（图像到视频）并扩展现有剪辑（延续），超越纯文本提示。