視覺人工智慧指南

3D 模型的 AI 紋理生成

AI 紋理生成使用模型(主要是基於擴散的)來創建無縫的基於物理的渲染 (PBR) 材質,例如反照率、法線和粗糙度貼圖,或根據文字提示或圖像將紋理直接繪製到 3D 網格上。

聆聽此指南AI 語音敘述 · ~3 min

本頁4 分鐘閱讀
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 3D 模型 AI 紋理生成的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

它取代了攝影、繪畫和瓷磚材料等許多緩慢的手工工作。這對於遊戲藝術家、3D 設計師和愛好者來說很重要,但輸出需要檢查,因為生成的地圖是合理的估計,而不是測量的表面屬性。

深入探討

AI 紋理生成涵蓋兩項相關工作:創建可平鋪的 PBR 材質,以及將紋理繪製到特定網格上。基於物理的渲染描述具有多個貼圖而不是一張圖片的表面:基色或反照率(無光照的顏色)、法線貼圖(編碼為每像素方向的小表面凹凸)、粗糙度(反射的模糊程度)、金屬性,以及通常的高度和環境遮擋。 Unreal、Unity 和 Blender 等引擎將這些引擎與場景照明相結合,因此良好的材質在任何光線下看起來都恰到好處。對於材料,模型會產生或估計全套貼圖。例如,Adobe Substance 3D Sampler 可以透過估計法線、高度和粗糙度將單張照片轉換為材質,研究模型從文字聯合生成地圖集,以便它們保持一致。無縫平鋪是一個單獨的要求:左邊緣必須延續到右邊緣,頂部延伸到底部。常見的技術包括網路內部的圓形、環繞式填充,以及在去雜訊期間移動影像,以便在畫布中間重新產生接縫。對於網格,諸如 TEXTURE 和 Text2Tex 之類的方法(均從 2023 年開始)從多個視點渲染模型,使用深度條件擴散模型繪製每個視圖,將結果投影回網格的 UV 紋理,並填充先前視圖遺漏的區域。商業工具(包括 Meshy 和 Substance 3D 中 Firefly 的 Firefly 支援的功能)提供類似的工作流程。限制很重要。影像產生器的輸出不是真正的反照率,因為它通常包含在真實光照下看起來錯誤的烘焙陰影和高光;需要令人愉悅。根據照片估計的法線是合理的猜測,而不是測量結果。多視圖繪畫可能會在視圖之間留下明顯的接縫、模糊或不一致的細節。並且生成的地圖集在物理上可能不一致,例如塗漆木材上的金屬值。

現實世界的實施

环境艺术家拍摄风化砖墙,将其转换为具有反照率、法线、高度和粗糙度贴图的可平铺材质,并在整个关卡中使用它。

一位单独的游戏开发人员提示纹理工具使用“生锈的科幻货物板条箱,磨损的黄色油漆”来绘制板条箱网格,然后修复两个生成的视图相交处的可见接缝。

一位 3D 打印爱好者为作品集渲染的小雕像贴上了纹理,并注意到生成的颜色贴图的烘焙阴影在新光线下看起来不正确,因此他执行了令人愉快的步骤。

技术美工人员将生成的贴图导入游戏引擎,发现凹凸看起来是倒置的,这可以追溯到 OpenGL 与 DirectX 法线贴图约定不匹配。

3D 模型 AI 紋理生成的未來

研究重点是直接在 UV 或 3D 空间中生成纹理以减少视图接缝、生成完整的 PBR 集而不是亮色图像,以及更好地将照明与表面颜色分开。可能會更緊密地整合到建模和遊戲工具中,以及對磨損、年齡和材料區域的控制。在物理準確性很重要的情況下,產生的材料仍然需要人工審核,例如產品視覺化或影片。與其他產生工具一樣,培訓資料的授權和商業使用條款因提供者而異,在用於出貨產品之前需要進行檢查。

付諸實踐

為什麼這很重要

  • 速度與規模. 視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
  • 配裝選擇. 創意團隊可以透過更少的手動修改來更快地建立概念原型。
  • 團隊與工作流程. 操作可以使用以前難以處理的影像和視訊訊號。

留意

  • 如果出處不明,肖像權和同意可能會成為法律風險。
  • 模型表現可能因光照、人口統計和環境的不同而有所不同。
  • 除非監控置信閾值,否則誤報可能會被忽略。

後續步驟

  1. 定義精確度、召回率和錯誤成本的接受標準。
  2. 使用符合實際生產條件的數據進行測試。
  3. 為低置信度或高影響力的預測添加人工審核。
  4. 追蹤模型漂移並在相機或資料集變更後重新驗證。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

Take the AI Texture Generation for 3D Models quiz

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是 3D 模型的 AI 紋理生成?

AI 紋理生成使用模型(主要是基於擴散的)來創建無縫的基於物理的渲染 (PBR) 材質,例如反照率、法線和粗糙度貼圖,或根據文字提示或圖像將紋理直接繪製到 3D 網格上。它取代了攝影、繪畫和瓷磚材料等許多緩慢的手工工作。這對於遊戲藝術家、3D 設計師和愛好者來說很重要,但輸出需要檢查,因為生成的地圖是合理的估計,而不是測量的表面屬性。

在 PBR 材質中,反照率或基色圖代表什麼?

Albedo 儲存表面的固有顏色,引擎在渲染時添加照明。

法線貼圖編碼什麼?

法線貼圖儲存每個像素的表面方向,因此光照反應就像存在精細凹凸一樣,無需額外的幾何體。

粗糙度圖控制什麼?

低粗糙度可產生清晰的鏡面反射;高粗糙度使它們呈現霧面外觀。

哪種技術可以幫助無縫生成紋理圖塊?

環繞填充使網路將邊緣視為已連接,因此左邊緣繼續延伸到右邊緣。

TEXTURE 和 Text2Tex 等方法如何對網格進行紋理處理?

這些方法使用深度引導逐個視圖繪製網格視圖,然後反投影到紋理中並填滿缺失區域。