概述
研究方法在表示形式、训练数据和推理成本上各不相同。
深入探讨
DreamFusion 使用预训练的二维文本到图像扩散模型作为先验，并通过渲染视图优化三维 NeRF，在其论文设置中不需要三维训练数据。Point-E 使用文本到图像阶段，随后是一个生成三维点云的模型。这些系统采用了不同的表示形式和权衡。雅努斯问题（Janus problem）描述了某些生成的三维结果中前后视图不一致的现象；这是一种失败模式，而不是普遍属性。DreamFusion 引入了分数蒸馏采样（SDS），使用预训练的二维扩散模型作为先验，从渲染视图优化三维表示。Shap-E 直接生成可渲染为纹理网格或神经辐射场的隐式函数参数。Point-E 采用文本到图像阶段，随后是生成点云的图像条件扩散模型。这些代表了不同的系统，不应将其归结为单一的输出格式或速度声明。
现实世界的实施
通过文本条件渲染视图来优化 NeRF。
使用多阶段模型生成点云。
检查输出是网格、辐射场还是点云。
检查多个视图是否存在几何不一致的情况。
文本转 3D 生成的未来
文本到3D方法仍在不断发展。请比较确切的版本和表示形式；生成的几何体在用于模拟、制造或生产之前可能需要修复。
付诸实践
为什么这很重要
- 速度与规模. 视觉人工智能可以大规模自动化检查、检测和标记任务。
- 构建选择. 创意团队可以通过更少的手动修改更快地构建概念原型。
- 团队与工作流程. 操作可以使用以前难以处理的图像和视频信号。
留意
- 如果出处不明，肖像权和同意可能会成为法律风险。
- 模型性能可能因光照、人口统计和环境的不同而有所不同。
- 除非监控置信阈值，否则误报可能会被忽视。
后续步骤
- 定义精确度、召回率和错误成本的接受标准。
- 使用符合实际生产条件的数据进行测试。
- 为低置信度或高影响力的预测添加人工审核。
- 跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
常见问题
什么是文本转 3D 生成？
文本到3D（Text-to-3D）方法可以根据文本、图像或其他条件生成或重建三维表示。研究方法在表示形式、训练数据和推理成本上各不相同。
DreamFusion（2022）的关键创新是什么？
DreamFusion 优化了 NeRF，因此每个渲染的 2D 视图都满足冻结的 2D 图像扩散模型，使用 SDS 并且不需要 3D 训练数据。
文本转 3D 过程中的“Janus 问题”是什么？
Janus 问题以两面罗马神命名，指的是当一个物体因为每个 2D 视图都在某种程度上独立优化而产生额外的面时。
哪一对是 OpenAI 的早期文本到 3D 前馈模型？
OpenAI 发布了 Point-E（点云）和 Shap-E，它们生成 3D 资源的速度比基于优化的方法快得多。
为什么像 DreamFusion 这样的早期基于优化的方法很慢？
每个对象都需要在许多噪声渲染中迭代优化 NeRF，每个资产通常需要几个小时。
哪种输出格式不是这些系统生成的典型 3D 表示形式？
文本转 3D 系统输出网格、点云或辐射场； MP3 是一种音频格式，而不是 3D 表示形式。