GLIGEN 接地一代
GLIGEN（接地語言到圖像生成）可讓您透過在文字提示旁邊輸入模型邊界框和標籤來精確控制物件在生成的圖像中出現的位置。
概述
It turns vague text-to-image into precise, layout-controllable synthesis.
深入探討
標準的文字到圖像模型在空間控制方面遇到了困難：要求“一隻貓在狗的左邊”，你經常會得到錯誤的位置。 GLIGEN 於 2023 年推出，透過新增基礎輸入（例如與文字或圖像實體、關鍵點或參考圖像配對的邊界框）來解決此問題。至關重要的是，它凍結了原始預訓練擴散模型的權重，並注入新的可訓練門控自註意力層以吸收基礎令牌。這意味著它建立在穩定擴散這樣的模型上，而不會破壞其學到的知識，並且門控從接近零開始，因此基礎模型的行為在訓練早期得以保留。結果是開放世界的接地生成：您可以將任意描述的物件放置在指定位置，並且它概括為接地訓練期間未見過的概念和佈局。
技術洞察
GLIGEN 將每個基礎實體表示為將其文字或圖像嵌入與其空間資訊結合的標記，例如透過傅立葉特徵編碼的邊界框的四個座標。這些接地令牌透過位於現有自註意力和交叉注意力塊之間的新插入的門控自註意力層進入凍結擴散 U-Net。初始化為零的可學習閘控制接地對生成的影響程度，因此添加控制可以優雅地降級並且訓練保持穩定。
戰略影響
速度與規模
視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
配裝選擇
創意團隊可以透過更少的手動修改來更快地建立概念原型。
團隊與工作流程
操作可以使用以前難以處理的影像和視訊訊號。
GLIGEN 接地世代的未來
接地且佈局可控的發電正在成為生產工具的標準配置。預計 GLIGEN 風格的空間調節將與 ControlNet 和區域提示等其他控制方法相結合，並擴展到視訊和 3D 領域，其中物件隨時間和空間的放置更加重要。由於模型採用遵循指令的介面，拖放佈局控制和語言指定的場景圖將使精確的合成變得容易，而無需提示工程技巧。
現實世界的實施
使用邊界框將標誌或產品放置在產生的廣告的精確區域中
透過指定渲染前每個角色或物件的位置來建立複雜的場景
使用已知的地面實況框位置產生用於物件偵測的訓練數據
將所描述的物件修復到現有照片的使用者繪製區域中
風險與防護欄
如果出處不明，肖像權和同意可能會成為法律風險。
模型表現可能因光照、人口統計和環境的不同而有所不同。
除非監控置信閾值，否則誤報可能會被忽略。
實施路線圖
定義精確度、召回率和錯誤成本的接受標準。
使用符合實際生產條件的數據進行測試。
為低置信度或高影響力的預測添加人工審核。
追蹤模型漂移並在相機或資料集變更後重新驗證。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the GLIGEN Grounded Generation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is GLIGEN Grounded Generation?
GLIGEN（接地語言到圖像生成）可讓您透過在文字提示旁邊輸入模型邊界框和標籤來精確控制物件在生成的圖像中出現的位置。它將模糊的文字到圖像轉變為精確的、佈局可控的合成。
GLIGEN主要解決什麼問題？
GLIGEN 新增了諸如邊界框之類的接地輸入，因此您可以準確控制物件的放置位置，而純文字提示對此處理不佳。
GLIGEN 如何保存預訓練擴散模型的知識？
GLIGEN 凍結基礎模型並注入新的門控自註意力層，因此原始學習的知識保持不變。
GLIGEN 接受的典型接地輸入是什麼？
GLIGEN 支援透過具有文字/影像實體、關鍵點和參考影像的邊界框進行接地。
為什麼 GLIGEN 新註意力層中的閘初始化為零？
零初始化門意味著接地最初沒有影響，保留原始模型並在控制加強時保持訓練穩定。
GLIGEN 中「開放世界」接地世代意味著什麼？
GLIGEN 的推廣超越了其基礎訓練集，將新穎的描述對象放置在指定位置。