文本转 3D 生成
文本到 3D 生成将“老式皮革扶手椅”等书面提示转变为完整的 3D 模型，您可以旋转、点亮并放入游戏或场景中。
概述
It promises to do for 3D assets what image generators did for pictures.
深入探讨
文本转 3D 系统根据句子生成 3D 表示（网格、点云或辐射场）。 Google 的 DreamFusion (2022) 等早期突破使用了分数蒸馏采样：他们优化了 NeRF，而不是在 3D 数据上进行训练，以便每个渲染的 2D 视图对于冻结的 2D 图像扩散模型来说看起来都是合理的。这种方法从 2D 先验中引导出 3D 形状，但速度很慢，每个对象需要数小时的时间，并且经常会产生“Janus 问题”，即生物会长出多个面孔。较新的前馈模型（OpenAI 的 Point-E 和 Shap-E，加上高斯分布和大型重建模型）可在几秒到几分钟内生成资产。质量、多视图一致性、干净的拓扑和可用的纹理仍然是活跃的挑战。
技术洞察
DreamFusion 的核心技巧是分数蒸馏采样 (SDS)，不需要 3D 训练数据。它渲染 NeRF 的随机视图，添加噪声，并询问预训练的 2D 扩散模型如何针对文本提示进行去噪。该去噪信号变成一个梯度，推动 NeRF 的参数，使每个视点都与提示相匹配。 2D 模型充当批评家，将其图像知识提炼成一致的 3D 对象。
战略影响
速度与规模
视觉人工智能可以大规模自动化检查、检测和标记任务。
构建选择
创意团队可以通过更少的手动修改更快地构建概念原型。
团队与工作流程
操作可以使用以前难以处理的图像和视频信号。
文本转 3D 生成的未来
预计从缓慢的每个对象优化到快速前馈生成器的转变，可以在几秒钟内生成具有干净拓扑、分离材质和 UV 贴图的生产就绪网格。 3D 高斯分布和大型重建模型正在加速这一过程。与游戏引擎、CAD 和 AR 管道的集成，以及文本到 4D（动画、移动对象）的集成，将使对话式资产创建成为常态，但人工清理装配和游戏规范合规性仍将持续存在。
现实世界的实施
在美术师完善英雄资产之前，游戏工作室会根据文本提示制作背景道具（板条箱、灯具、树叶）原型以填充关卡。
电子商务网站根据 AR“在房间中查看”功能的目录描述自动生成可旋转 3D 产品预览。
建筑师通过输入“中世纪沙发”而不是浏览资源库来快速填充家具的演练渲染。
电影预览团队从脚本描述中筛选出场景的布景，以在构建最终模型之前测试摄像机角度。
风险与防护栏
如果出处不明，肖像权和同意可能会成为法律风险。
模型性能可能因光照、人口统计和环境的不同而有所不同。
除非监控置信阈值，否则误报可能会被忽视。
实施路线图
定义精确度、召回率和错误成本的接受标准。
使用符合实际生产条件的数据进行测试。
为低置信度或高影响力的预测添加人工审核。
跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Text-to-3D Generation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Text-to-3D Generation?
文本到 3D 生成将“老式皮革扶手椅”等书面提示转变为完整的 3D 模型，您可以旋转、点亮并放入游戏或场景中。它承诺对 3D 资源的作用就像图像生成器对图片的作用一样。
DreamFusion（2022）的关键创新是什么？
DreamFusion 优化了 NeRF，因此每个渲染的 2D 视图都满足冻结的 2D 图像扩散模型，使用 SDS 并且不需要 3D 训练数据。
文本转 3D 过程中的“Janus 问题”是什么？
Janus 问题以两面罗马神命名，指的是当一个物体因为每个 2D 视图都在某种程度上独立优化而产生额外的面时。
哪一对是 OpenAI 的早期文本到 3D 前馈模型？
OpenAI 发布了 Point-E（点云）和 Shap-E，它们生成 3D 资源的速度比基于优化的方法快得多。
为什么像 DreamFusion 这样的早期基于优化的方法很慢？
每个对象都需要在许多噪声渲染中迭代优化 NeRF，每个资产通常需要几个小时。
哪种输出格式不是这些系统生成的典型 3D 表示形式？
文本转 3D 系统输出网格、点云或辐射场； MP3 是一种音频格式，而不是 3D 表示形式。