行业指南

电影和视觉效果中的人工智能

人工智能正在将电影制作从剧本转变为屏幕——加快视觉效果、降低演员年龄、翻译对话,甚至从文本生成整个视频剪辑。

概述

人工智能正在将电影制作从剧本转变为屏幕——加快视觉效果、降低演员年龄、翻译对话,甚至从文本生成整个视频剪辑。这很重要,因为它可以削减曾经需要大量艺术家的效果的时间和成本,同时提出有关工作、同意和真实性的难题。

电影和视觉效果中的人工智能将人工智能应用于特定领域的环境中,在这些环境中,法规、操作和风险承受能力强烈影响设计选择。

深入探讨

在视觉效果 (VFX) 领域,人工智能现在可以自动执行劳动密集型任务,例如动态观察(从背景中剪切主体)、动作捕捉清理以及将旧镜头升级到高分辨率。机器学习去衰老和数字替身让工作室可以改变演员的表观年龄或重新创造表演者,就像主要系列电影中的去衰老一样。生成视频模型可以根据文本提示生成逼真的短镜头,对于预览、故事板和 B 卷非常有用。人工智能配音和口型同步工具可将电影翻译成多种语言,同时匹配嘴巴动作。神经渲染和高斯喷射从照片创建 3D 场景。剪辑师使用人工智能来组合粗剪、同步声音、色彩分级和清理音频。这些工具压缩了时间,但也引发了业界关于肖像权和创意工作的争论,这也是 2023 年好莱坞罢工的核心。

技术洞察

现代去衰老通常使用根据演员的档案镜头训练的面部模型,然后逐帧渲染年轻的面部,有时使用基于扩散的细化来修复闪烁和照明。文本到视频系统使用在巨大的视频字幕数据集上训练的扩散变压器,学习对帧序列进行降噪,同时保持时间一致性。神经辐射场 (NeRF) 和高斯喷射通过优化从多个视点呈现的光线和颜色来重建 3D 场景。

掌握电影和视觉效果中的人工智能

人工智能正在将电影制作从剧本转变为屏幕——加快视觉效果、降低演员年龄、翻译对话,甚至从文本生成整个视频剪辑。这很重要,因为它可以削减曾经需要大量艺术家的效果的时间和成本,同时提出有关工作、同意和真实性的难题。电影和视觉效果中的人工智能将人工智能应用于特定领域的环境中,在这些环境中,法规、操作和风险承受能力强烈影响设计选择。为了建立深入的理解,请将电影和视觉效果中的人工智能视为一种操作模型,而不是单一功能:定义期望的结果,澄清假设,并将系统可以可靠地完成的任务与仍需要专家判断的任务分开。

在实践中,在电影和视觉效果中使用人工智能的强大团队将技术能力与领域政策、可审计性和一线决策结合起来。他们记录明确的成功标准,根据实际数据和工作流程进行测试,并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。

行业背景决定了人工智能创意能否与现实接触。同时,监管要求可能会使原本强大的原型失效。最具弹性的方法是将实验速度与治理规则结合起来:运行试点、捕获证据、发布决策日志,并随着模型行为、用户期望和监管要求的发展不断更新保障措施。

战略影响

行业背景决定了人工智能创意能否与现实接触。

行业背景决定了人工智能创意能否与现实接触。在高质量部署中,这会转化为可衡量的操作规则、所有权边界和定期审查仪式,以便团队可以增强信心,而不是扩大模糊性。

领域约束会影响可接受的错误率和监督模型。

领域约束会影响可接受的错误率和监督模型。在高质量部署中,这会转化为可衡量的操作规则、所有权边界和定期审查仪式,以便团队可以增强信心,而不是扩大模糊性。

成功的部署使技术能力与一线工作流程保持一致。

成功的部署使技术能力与一线工作流程保持一致。在高质量部署中,这会转化为可衡量的操作规则、所有权边界和定期审查仪式,以便团队可以增强信心,而不是扩大模糊性。

人工智能在电影和视觉效果中的未来

生成视频将从短片转向更长、可控、导演可操纵的序列,并具有一致的角色和物理效果。实时虚拟生产——由人工智能生成的环境驱动的 LED 产量——将会扩大。期待数字相似性的标准化同意和补偿框架,以及标记合成素材的水印或出处标准(如 C2PA)。最大的转变将出现在独立电影制作中,小团队获得工作室级工具,以及本地化方面,即时多语言配音扩大了全球影响力。

现实世界的实施

工业光魔和其他工作室使用机器学习去衰老技术让演员在银幕上显得年轻数十岁

Runway 和类似的文本到视频工具生成广告和短片中使用的剪辑和预览镜头

AI rotoscoping 和 roto 工具(例如,在 Adobe 和 Foundry 产品中)自动从背景中剪切演员以进行合成

人工智能配音服务对口型同步并将电影和电视剧翻译成数十种语言以供全球流媒体播放

实施模式

电影和视觉效果中的人工智能实践

Industrial Light & Magic 和其他工作室使用 ML 去衰老技术让演员在银幕上显得年轻数十岁。

Industrial Light & Magic 和其他工作室使用 ML 去老化技术让演员在银幕上看起来年轻数十岁。当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时,通常会获得更好的结果。

电影和视觉效果中的人工智能实践

Runway 和类似的文本到视频工具生成广告和短片中使用的剪辑和预览镜头。

Runway 和类似的文本到视频工具生成广告和短片中使用的剪辑和预览镜头。当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时,通常会获得更好的结果。

电影和视觉效果中的人工智能实践

AI rotoscoping 和 roto 工具(例如,在 Adobe 和 Foundry 产品中)会自动从背景中剪切演员以进行合成。

AI rotoscoping 和 roto 工具(例如,在 Adob​​e 和 Foundry 产品中)会自动将演员从背景中剔除以进行合成。当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时,通常会获得更好的结果。

电影和视觉效果中的人工智能实践

人工智能配音服务可以对口型同步,并将电影和连续剧翻译成数十种语言以供全球流媒体播放。

AI 配音服务对口型同步并将电影和连续剧翻译成数十种语言以供全球流媒体播放。当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时,通常会获得更好的结果。

风险与防护栏

!

监管要求可能会使原本强大的原型失效。

!

历史数据可能会编码损害特定社区的偏见。

!

遗留系统可能会造成集成瓶颈和隐性成本。

实施路线图

1

让领域专家参与从问题框架到评估的整个过程。

让领域专家参与从问题框架到评估的整个过程。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

2

在启动前设计审计跟踪和文档。

在启动前设计审计跟踪和文档。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

3

尽早验证合规性和安全义务。

尽早验证合规性和安全义务。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

4

分阶段推出,并具有明确的停止和回滚标准。

分阶段推出,并具有明确的停止和回滚标准。将每个步骤视为证据门:如果不满足标准,则暂停推出,缩小差距,然后再扩大使用。

不断探索