概述
它取代了攝影、繪畫和瓷磚材料等許多緩慢的手工工作。這對於遊戲藝術家、3D 設計師和愛好者來說很重要,但輸出需要檢查,因為生成的地圖是合理的估計,而不是測量的表面屬性。
深入探討
AI 紋理生成涵蓋兩項相關工作:創建可平鋪的 PBR 材質,以及將紋理繪製到特定網格上。基於物理的渲染描述具有多個貼圖而不是一張圖片的表面:基色或反照率(無光照的顏色)、法線貼圖(編碼為每像素方向的小表面凹凸)、粗糙度(反射的模糊程度)、金屬性,以及通常的高度和環境遮擋。 Unreal、Unity 和 Blender 等引擎將這些引擎與場景照明相結合,因此良好的材質在任何光線下看起來都恰到好處。對於材料,模型會產生或估計全套貼圖。例如,Adobe Substance 3D Sampler 可以透過估計法線、高度和粗糙度將單張照片轉換為材質,研究模型從文字聯合生成地圖集,以便它們保持一致。無縫平鋪是一個單獨的要求:左邊緣必須延續到右邊緣,頂部延伸到底部。常見的技術包括網路內部的圓形、環繞式填充,以及在去雜訊期間移動影像,以便在畫布中間重新產生接縫。對於網格,諸如 TEXTURE 和 Text2Tex 之類的方法(均從 2023 年開始)從多個視點渲染模型,使用深度條件擴散模型繪製每個視圖,將結果投影回網格的 UV 紋理,並填充先前視圖遺漏的區域。商業工具(包括 Meshy 和 Substance 3D 中 Firefly 的 Firefly 支援的功能)提供類似的工作流程。限制很重要。影像產生器的輸出不是真正的反照率,因為它通常包含在真實光照下看起來錯誤的烘焙陰影和高光;需要令人愉悅。根據照片估計的法線是合理的猜測,而不是測量結果。多視圖繪畫可能會在視圖之間留下明顯的接縫、模糊或不一致的細節。並且生成的地圖集在物理上可能不一致,例如塗漆木材上的金屬值。
現實世界的實施
环境艺术家拍摄风化砖墙,将其转换为具有反照率、法线、高度和粗糙度贴图的可平铺材质,并在整个关卡中使用它。
一位单独的游戏开发人员提示纹理工具使用“生锈的科幻货物板条箱,磨损的黄色油漆”来绘制板条箱网格,然后修复两个生成的视图相交处的可见接缝。
一位 3D 打印爱好者为作品集渲染的小雕像贴上了纹理,并注意到生成的颜色贴图的烘焙阴影在新光线下看起来不正确,因此他执行了令人愉快的步骤。
技术美工人员将生成的贴图导入游戏引擎,发现凹凸看起来是倒置的,这可以追溯到 OpenGL 与 DirectX 法线贴图约定不匹配。
3D 模型 AI 紋理生成的未來
研究重点是直接在 UV 或 3D 空间中生成纹理以减少视图接缝、生成完整的 PBR 集而不是亮色图像,以及更好地将照明与表面颜色分开。可能會更緊密地整合到建模和遊戲工具中,以及對磨損、年齡和材料區域的控制。在物理準確性很重要的情況下,產生的材料仍然需要人工審核,例如產品視覺化或影片。與其他產生工具一樣,培訓資料的授權和商業使用條款因提供者而異,在用於出貨產品之前需要進行檢查。
付諸實踐
為什麼這很重要
- 速度與規模. 視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
- 配裝選擇. 創意團隊可以透過更少的手動修改來更快地建立概念原型。
- 團隊與工作流程. 操作可以使用以前難以處理的影像和視訊訊號。
留意
- 如果出處不明,肖像權和同意可能會成為法律風險。
- 模型表現可能因光照、人口統計和環境的不同而有所不同。
- 除非監控置信閾值,否則誤報可能會被忽略。
後續步驟
- 定義精確度、召回率和錯誤成本的接受標準。
- 使用符合實際生產條件的數據進行測試。
- 為低置信度或高影響力的預測添加人工審核。
- 追蹤模型漂移並在相機或資料集變更後重新驗證。
不斷探索
常見問題
什麼是 3D 模型的 AI 紋理生成?
AI 紋理生成使用模型(主要是基於擴散的)來創建無縫的基於物理的渲染 (PBR) 材質,例如反照率、法線和粗糙度貼圖,或根據文字提示或圖像將紋理直接繪製到 3D 網格上。它取代了攝影、繪畫和瓷磚材料等許多緩慢的手工工作。這對於遊戲藝術家、3D 設計師和愛好者來說很重要,但輸出需要檢查,因為生成的地圖是合理的估計,而不是測量的表面屬性。
在 PBR 材質中,反照率或基色圖代表什麼?
Albedo 儲存表面的固有顏色,引擎在渲染時添加照明。
法線貼圖編碼什麼?
法線貼圖儲存每個像素的表面方向,因此光照反應就像存在精細凹凸一樣,無需額外的幾何體。
粗糙度圖控制什麼?
低粗糙度可產生清晰的鏡面反射;高粗糙度使它們呈現霧面外觀。
哪種技術可以幫助無縫生成紋理圖塊?
環繞填充使網路將邊緣視為已連接,因此左邊緣繼續延伸到右邊緣。
TEXTURE 和 Text2Tex 等方法如何對網格進行紋理處理?
這些方法使用深度引導逐個視圖繪製網格視圖,然後反投影到紋理中並填滿缺失區域。