視覺人工智慧指南

文字轉 3D 生成

Text-to-3D 方法從文字、影像或其他條件生成或重建 3D 表徵。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 文本轉 3D 生成的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

研究方法在表徵、訓練資料與推論成本上各有不同。

深入探討

DreamFusion 使用預訓練的 2D 文字到影像擴散模型作為先驗,並透過渲染視圖優化 3D NeRF,論文設定中不需要 3D 訓練資料。Point-E 先使用文字到影像階段,接著產生 3D 點雲的模型。這些系統使用不同的表徵與取捨。Janus 問題描述某些生成 3D 結果的前後視圖不一致;這是一種失敗模式,並非普遍特性。DreamFusion 引入了 Score Distillation Sampling (SDS),利用預訓練的 2D 擴散模型作為先驗,從渲染視圖優化 3D 表徵。Shap-E 直接生成隱式函數的參數,可渲染為帶紋理的網格或神經輻射場。Point-E 使用文字到影像階段,接著使用影像條件的擴散模型生成點雲。這些代表不同的系統,不應合併為單一輸出格式或速度聲稱。

現實世界的實施

從文字條件的渲染視圖優化 NeRF。

使用多階段模型生成點雲。

檢查輸出是網格、輻射場還是點雲。

檢查多個視角以發現幾何不一致的情況。

文本轉 3D 生成的未來

文字轉 3D 方法持續演進。比較精確的版本與表示方式;產生的幾何可能需要在用於模擬、製造或生產前進行修復。

付諸實踐

為什麼這很重要

  • 速度與規模. 視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
  • 配裝選擇. 創意團隊可以透過更少的手動修改來更快地建立概念原型。
  • 團隊與工作流程. 操作可以使用以前難以處理的影像和視訊訊號。

留意

  • 如果出處不明,肖像權和同意可能會成為法律風險。
  • 模型表現可能因光照、人口統計和環境的不同而有所不同。
  • 除非監控置信閾值,否則誤報可能會被忽略。

後續步驟

  1. 定義精確度、召回率和錯誤成本的接受標準。
  2. 使用符合實際生產條件的數據進行測試。
  3. 為低置信度或高影響力的預測添加人工審核。
  4. 追蹤模型漂移並在相機或資料集變更後重新驗證。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加文字轉 3D 生成測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是文字轉 3D 生成?

文字轉 3D 方法會根據文字、影像或其他條件產生或重建 3D 表示。研究方法在表示形式、訓練資料與推論成本上各有不同。

DreamFusion(2022)的關鍵創新是什麼?

DreamFusion 優化了 NeRF,因此每個渲染的 2D 視圖都符合凍結的 2D 影像擴散模型,使用 SDS 並且不需要 3D 訓練資料。

文字轉 3D 過程中的「Janus 問題」是什麼?

Janus 問題以兩面羅馬神命名,指的是當一個物體因為每個 2D 視圖都在某種程度上獨立優化而產生額外的面。

哪一對是 OpenAI 的早期文字到 3D 前饋模型?

OpenAI 發布了 Point-E(點雲)和 Shap-E,它們產生 3D 資源的速度比基於最佳化的方法快得多。

為什麼像 DreamFusion 這樣的早期基於最佳化的方法很慢?

每個物件都需要在許多雜訊渲染中迭代優化 NeRF,每個資產通常需要幾個小時。

哪一種輸出格式不是這些系統產生的典型 3D 表示形式?

文字轉 3D 系統輸出網格、點雲或輻射場; MP3 是一種音訊格式,而不是 3D 表示形式。