概述
其 Gen-1 和 Gen-2 产品是历史模型代际;Runway 目前的研究还描述了用于交互式环境模拟的通用世界模型。
深入探讨
Runway 推出了用于视频到视频任务的 Gen-1 以及用于文本到视频/图像到视频任务的 Gen-2。其已归档的 Motion Brush 功能提供了局域运动控制,但专属于 Gen-2,该功能已被 Runway 于 2025 年弃用。Runway 的通用世界模型研究描述了一个不同的目标:表示环境并模拟未来事件,其中 GWM Worlds 2 受提示词、当前控制和先前帧的条件制约。研究声明的范围限于 Runway 所描述的方法和评估。
现实世界的实施
Gen-1 被描述为利用文本或图像引导进行视频到视频的转换。
Gen-2 被引入用于文本到视频和图像到视频的生成;其传统的 Motion Brush 功能现已弃用。
过去,Motion Brush 允许用户在 Gen-2 剪辑中指定运动的区域和方向。
Runway 的 GWM 研究旨在研究交互式世界模拟,包括具有上下文输入的自回归帧生成。
跑道的未来
在描述 Runway 时,请标注产品代际并检查当前的支持状态。将创意视频生成与交互式世界模型研究区分开来,并根据已发表的评估来评估任何现实世界的模拟声明。引用的研究并未确凿证明生成的环境在所有情况下都完全符合物理规律。
付诸实践
为什么这很重要
- 供应商策略. 供应商路线图会影响您的团队接下来可以构建的功能。
- 成本与预算. 商业条款和部署选项会影响长期成本和风险。
- 风险与安全. 公司激励措施塑造了产品默认、安全态势和开放性。
留意
- 发布公告可能会超过实际生产工作流程的稳定性。
- API 定价或政策转变可能会在一夜之间打破假设。
- 单一供应商依赖性增加了锁定和迁移成本。
后续步骤
- 使用您自己的任务和数据集评估提供商。
- 在集成之前查看隐私、安全和法律条款。
- 维护跨模型或供应商的后备计划。
- 监控发行说明,以便路线图的更改不会让团队感到意外。
不断探索
常见问题
什么是 Runway?
Runway 开发生成式视频工具和研究系统。其 Gen-1 和 Gen-2 产品是历史模型代际;Runway 目前的研究还描述了用于交互式环境模拟的通用世界模型。
Runway 主要以哪类人工智能工具而闻名?
Runway 构建生成视频工具,包括 Gen 系列文本到视频和视频到视频模型。
哪款 Runway 型号首先在其 Gen 系列中引入了文本到视频生成功能?
Gen-1 处理视频到视频,而 Gen-2 在 2023 年引入直接根据文本提示生成视频。
AI视频与AI图像独特的核心技术挑战是什么?
视频模型必须使帧随着时间的推移保持一致,以便对象平滑移动而不是闪烁,而图像则不存在闪烁问题。
Runway 当前关于 Gen-2 弃用的页面对 Motion Brush 有何说明?
Runway 的支持页面指出,Motion Brush 是 Gen-2 的专属功能,在较新的模型上不可用;该页面描述的是产品状态,而非该功能的历史表现。
在生成的剪辑中,Gen-2 的 Motion Brush 允许用户控制什么?
Runway 将 Motion Brush 描述为在 Gen-2 图像生成视频过程中涂抹区域并为这些区域指定运动的一种方式。