概述
模型重建可见部分并根据训练中学习的模式猜测隐藏面。此技术让非专业人士也能快速获取 3D 资产,但输出是合理估计,而非真实物体的精确测量。
深入探討
Image-to-3D generation turns a single image of an object into a textured 3D model you can use in a game engine, AR viewer or modeling tool. The fast modern approach is feed-forward reconstruction: one pass through a trained network, taking seconds instead of the minutes or hours required by older per-object optimization methods. The key design came from the Large Reconstruction Model (LRM), a 2023 paper by researchers at Adobe and the Australian National University. LRM uses a pretrained image encoder (DINO) and a large transformer that maps image features into a triplane: three axis-aligned feature planes that together describe a 3D field. A small network decodes density and color at any point, which can be rendered like a NeRF during training and converted into a mesh with marching cubes afterwards. TripoSR, released in March 2024 by Stability AI and Tripo AI under an MIT license, built on the LRM design and reported reconstructions in under a second on a capable GPU. Stability's later Stable Fast 3D added UV-unwrapped textures and material estimates. Another family first uses a diffusion model to imagine new views of the object, an idea pioneered by Zero-1-to-3, and then reconstructs from those views, as InstantMesh does. The central limitation is that one photo does not contain the back of the object. Everything hidden is a learned guess, shaped by training data such as the large Objaverse collection of 3D assets. Common, symmetric objects come out plausibly; unusual designs, thin parts, transparent or shiny materials and fine text often fail. Scale is unknown from a single image, so dimensions are not trustworthy. A frequent misconception is that this equals 3D scanning or photogrammetry, which measure real geometry from many photos. Single-image models suit concepts, placeholders and prototypes, not parts that must fit.
現實世界的實施
一位独立游戏开发者拍摄陶瓷杯,去除背景,并使用 TripoSR 在几秒内得到网格,作为厨房场景的占位道具。
产品设计师将灯具概念草图转为粗略的 3D 模型,以从多个角度查看,随后专业建模师制作最终版本。
爱好者尝试仅凭一张照片 3D 打印替换旋钮,却发现尺寸不符且背面被猜测,遂改用卡尺测量。
在线卖家为毛绒玩具生成 AR 预览的 3D 模型后,发现看不见的背面出现了猜测的接缝图案,与真实玩具不符。
Image-to-3D 模型生成的未来
研究正朝向更高分辨率的几何形状、更干净的网格拓扑、使用真实 PBR 材质而非烘焙颜色,并在有多张输入照片时更好地利用它们。将多视角扩散与前馈重建相结合提升了隐藏面的可信度,但单张图像始终无法确定背面,猜测无法完全消除。预计将更紧密地集成到游戏引擎和设计工具,并更多用于快速原型。对于精度要求高的任务,仍需使用测量方法如摄影测量、深度传感器和 CAD。
付諸實踐
為什麼這很重要
- 速度與規模. 視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
- 配裝選擇. 創意團隊可以透過更少的手動修改來更快地建立概念原型。
- 團隊與工作流程. 操作可以使用以前難以處理的影像和視訊訊號。
留意
- 如果出處不明,肖像權和同意可能會成為法律風險。
- 模型表現可能因光照、人口統計和環境的不同而有所不同。
- 除非監控置信閾值,否則誤報可能會被忽略。
後續步驟
- 定義精確度、召回率和錯誤成本的接受標準。
- 使用符合實際生產條件的數據進行測試。
- 為低置信度或高影響力的預測添加人工審核。
- 追蹤模型漂移並在相機或資料集變更後重新驗證。
不斷探索
常見問題
什么是 Image-to-3D 模型生成?
影像到 3D 生成可使用 TripoSR 等前饋網路將單張照片或物件影像轉換為帶有紋理的 3D 模型(通常是網格),通常只需幾秒鐘。這個模型重建它所看到的內容,並根據訓練中學到的模式猜測隱藏的一面。這很重要,因為它使非專業人士可以快速存取 3D 資產,但其輸出是合理的估計,而不是對真實物件的測量。
前饋重建在影像轉 3D 意味著什麼?
前饋模型直接在單次傳遞中預測 3D,這與在幾分鐘或幾小時內優化每個物件的舊方法不同。
LRM 的轉換器將影像特徵對應成什麼表示形式?
LRM 預測三平面,小型網路將其解碼為任意 3D 點的密度和顏色。
哪些組織在 2024 年 3 月發布了 TripoSR?
TripoSR 由 Stability AI 和 Tripo AI 在 MIT 許可下發布,並基於 LRM 設計建造。
通常如何從預測的 3D 場中提取網格?
行進立方體將密度場轉換為三角形網格表面。
Zero-1-to-3 對影像轉 3D 方法有何貢獻?
Zero-1-to-3 率先透過擴散產生新穎的視圖,然後像 InstantMesh 這樣的方法可以從中重建。