控制網
ControlNet 是一個附加元件，可為影像生成模型提供精確的結構控制，讓您可以透過邊緣、姿勢、深度圖或塗鴉來控制輸出。
概述
它將老虎機的文字轉圖像轉換成可控的設計工具。
深入探討
ControlNet 由 Lvmin 張 及其同事於 2023 年推出，它附加到像穩定擴散這樣的預訓練擴散模型，而無需重新訓練整個模型。它將擴散 U-Net 的編碼器區塊複製為可訓練的副本，然後透過零初始化卷積層（零卷積）將該副本連接回凍結的原始資料。這些零轉換一開始沒有效果，因此訓練從原始模型的行為開始，並逐漸學習注入調節。調節是空間圖：Canny 邊緣圖像、OpenPose 骨架、深度圖、分割掩模或粗略草圖。結果是生成的圖像遵循控製圖的結構，而文字提示設定樣式和內容，為藝術家提供可靠、可重複的佈局。
技術洞察
定義的技巧是零卷積。由於連接層的權重初始化為零，ControlNet 分支最初不添加任何內容，因此模型與訓練開始時的原始模型相同。這可以防止新層注入的有害噪聲，並使微調即使在小資料集上也能保持穩定。梯度流入零轉換並逐漸打開調節路徑，安全地學習結構控制。
戰略影響
速度與規模
視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
配裝選擇
創意團隊可以透過更少的手動修改來更快地建立概念原型。
團隊與工作流程
操作可以使用以前難以處理的影像和視訊訊號。
ControlNet 的未來
ControlNet 風格的調節正在成為創意工具中的標準基礎設施，具有多條件堆疊（組合姿勢加深度加邊緣）和更輕的適配器（如 T2I-Adapter 和 IP-Adapter）。期望更緊密地整合到視訊擴散中，以實現一致的運動控制、即時互動編輯以及同時接受多種控制類型的統一模型，從而模糊草圖和最終渲染之間的界限。
現實世界的實施
使用 OpenPose 骨架鎖定角色的準確姿勢，同時透過提示更換服裝和背景
使用 Canny 邊緣貼圖重新設計建築照片，同時保留其精確的建築線條
將粗糙的手繪塗鴉變成概念藝術和故事板的精美插圖
應用深度圖，以便產生的場景尊重產品渲染和室內設計模型的 3D 佈局
風險與防護欄
如果出處不明，肖像權和同意可能會成為法律風險。
模型表現可能因光照、人口統計和環境的不同而有所不同。
除非監控置信閾值，否則誤報可能會被忽略。
實施路線圖
定義精確度、召回率和錯誤成本的接受標準。
使用符合實際生產條件的數據進行測試。
為低置信度或高影響力的預測添加人工審核。
追蹤模型漂移並在相機或資料集變更後重新驗證。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ControlNet quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
什麼是 ControlNet？
ControlNet 是一個附加元件，可為影像生成模型提供精確的結構控制，讓您可以透過邊緣、姿勢、深度圖或塗鴉來控制輸出。它將文字到圖像從老虎機變成了可控的設計工具。
ControlNet 影像生成主要解決什麼問題？
ControlNet 讓使用者可以利用邊緣、姿態或深度等空間條件來引導輸出，從而使生成可控而不是隨機。
ControlNet 中「零卷積」層的作用是什麼？
零初始化卷積最初沒有任何貢獻，因此模型與原始模型匹配並逐漸穩定地學習調節。
其中哪一個是有效的 ControlNet 調節輸入？
ControlNet 使用姿勢骨架、深度圖、Canny 邊緣和分割掩模等空間圖作為結構指導。
ControlNet 與穩定擴散等基本擴散模式有何關係？
ControlNet 複製並訓練編碼器的副本，同時保持原始 U-Net 凍結，保留其學到的知識。
在 ControlNet 工作流程中，當控制圖設定結構時，通常由什麼設定樣式和內容？
文字提示控制風格和主題，而控製圖則強制空間佈局。