视频扩散模型
视频扩散模型通过逐渐将随机噪声转化为连贯帧来生成运动图像，将扩散思想从图片扩展到时间。
概述
They are the engine behind today's most realistic AI video.
深入探讨
扩散模型学习逆转噪声过程：在训练过程中，干净的数据逐渐添加噪声，网络学习逐步预测和消除噪声。视频扩散将其应用于帧序列，并添加了关键的时间建模，使运动保持平滑，并且对象在时间上保持一致。为了使计算易于处理，大多数系统都是潜在扩散模型，在压缩的潜在空间而不是原始像素上运行。架构范围从具有空间和时间注意力的 3D U-Net 到将视频视为时空令牌的扩散变换器 (DiT)。该系列为 Sora、Stable Video Diffusion、Runway Gen-3、Google Veo 和 Pika 提供支持，并支持文本到视频、图像到视频和视频编辑。
技术洞察
关键技巧是添加时间层，例如时间注意力或 3D 卷积，因此帧是联合去噪而不是独立去噪，从而防止闪烁和不连贯的运动。生成使用无分类器的指导来强烈遵循文本提示，并且学习的 VAE 编码器/解码器在像素和潜在空间之间移动。对许多去噪步骤进行采样很慢，因此使用蒸馏和更快的求解器来减少所需的步骤数。
战略影响
速度与规模
视觉人工智能可以大规模自动化检查、检测和标记任务。
构建选择
创意团队可以通过更少的手动修改更快地构建概念原型。
团队与工作流程
操作可以使用以前难以处理的图像和视频信号。
视频传播模型的未来
研究正在朝着更长、更高分辨率、实时生成、同步音频和更好的物理真实感的方向发展。通过数据和计算进行干净扩展的扩散变压器正在成为主导设计，而少步蒸馏模型使生成速度大大加快。期望对摄像机、角色和编辑有更严格的控制，以及将扩散与其他生成方法相结合的混合方法。随着质量的提高，强大的水印和内容来源标准对于管理滥用至关重要。
现实世界的实施
为创作者提供 Stable Video Diffusion、Runway Gen-3 和 Pika 等文本转视频工具
图像转视频动画，通过逼真的动作使单张照片栩栩如生
专业后期制作工作流程中人工智能辅助的视频编辑、修复和风格转换
为机器人和自动驾驶汽车研究生成合成训练片段和模拟
风险与防护栏
如果出处不明，肖像权和同意可能会成为法律风险。
模型性能可能因光照、人口统计和环境的不同而有所不同。
除非监控置信阈值，否则误报可能会被忽视。
实施路线图
定义精确度、召回率和错误成本的接受标准。
使用符合实际生产条件的数据进行测试。
为低置信度或高影响力的预测添加人工审核。
跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Video Diffusion Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Video Diffusion Models?
视频扩散模型通过逐渐将随机噪声转化为连贯帧来生成运动图像，将扩散思想从图片扩展到时间。它们是当今最真实的人工智能视频背后的引擎。
扩散模型背后的基本思想是什么？
扩散模型经过训练以消除逐渐添加到数据中的噪声，然后通过对纯噪声进行去噪来生成。
与图像扩散模型相比，视频扩散模型增加了什么？
除了生成每一帧之外，视频扩散还必须跨时间协调帧，需要时间层来保持运动连贯。
为什么大多数视频传播模型都在“潜在”空间中运行？
原始视频非常庞大；通过 VAE 将其编码到更小的潜在空间中，使得去噪更加高效。
时间注意力或 3D 卷积在这些模型中的作用是什么？
时间层连接帧之间的信息，防止闪烁并产生连贯的运动，而不是独立的、抖动的帧。
什么技术可以帮助视频传播模型强烈遵循文本提示？
无分类器指导将去噪过程更强烈地引导至调节提示，从而提高提示依从性。