概述
這是通往 DALL-E 2 的關鍵踏腳石。
深入探討
由 OpenAI 於 2021 年末發布的 GLIDE(Guided Language to Image Diffusion for Generation and Editing)展示了文字引導的擴散模型能夠生成逼真且符合提示詞的圖像。它最大的貢獻在於比較了兩種引導生成的方式:CLIP 引導與無分類器引導(classifier-free guidance)。研究團隊發現,無分類器引導能產生更逼真且對齊度更好的圖像,這一結果影響了此後幾乎所有的文字轉圖像模型。GLIDE 還支援文字驅動的修復功能(inpainting),讓使用者能透過新的提示詞編輯圖像的一部分。它使用了一個 35 億參數的擴散模型加上一個放大器(upsampler)。OpenAI 公開發布了一個較小且經過篩選的版本,但基於濫用疑慮未公開完整模型;而 DALL-E 2 的研究論文則描述了一種 unCLIP 解碼器,該解碼器修改了 GLIDE 架構以接受 CLIP 圖像條件設定。
現實世界的實施
從句子(例如所描述的場景)生成圖像,展示早期快速忠實的合成
文字驅動的修復:遮蓋照片的一部分並用文字描述的新物件填充它
透過後續提示新增或替換元素來編輯現有影像
作為研究基線,證明無分類器指導在對齊方面優於 CLIP 指導
GLIDE 擴散模型的未來
GLIDE 本身在很大程度上是歷史性的,被 DALL-E 2、Imagen 和 Stable Diffusion 所取代,但它的思想仍然存在。無分類器指導仍然是權衡保真度和多樣性的預設旋鈕,文字驅動的修復現在已成為標準。未來的系統將持續完善引導時間表,減少強引導原因造成的偽影,並將相同的原理擴展到視訊和 3D 擴散,因此 GLIDE 的影響力比模型更長久。
付諸實踐
為什麼這很重要
- 速度與規模. 視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
- 配裝選擇. 創意團隊可以透過更少的手動修改來更快地建立概念原型。
- 團隊與工作流程. 操作可以使用以前難以處理的影像和視訊訊號。
留意
- 如果出處不明,肖像權和同意可能會成為法律風險。
- 模型表現可能因光照、人口統計和環境的不同而有所不同。
- 除非監控置信閾值,否則誤報可能會被忽略。
後續步驟
- 定義精確度、召回率和錯誤成本的接受標準。
- 使用符合實際生產條件的數據進行測試。
- 為低置信度或高影響力的預測添加人工審核。
- 追蹤模型漂移並在相機或資料集變更後重新驗證。
不斷探索
常見問題
什麼是 GLIDE 擴散模型?
GLIDE 是一種早期的 OpenAI 文字到圖像擴散模型,它顯示提示加上“無分類器指導”,可以擊敗早期基於 GAN 的系統。這是通往 DALL-E 2 道路上的關鍵墊腳石。
GLIDE 發現哪種引導方法可以產生更好、更迅速、更忠實的圖像?
GLIDE 表明,與 CLIP 指導相比,無分類器指導提供了更真實、更一致的結果。
在不計入放大器的情況下,已發布的完整 GLIDE 基礎擴散模型有多大?
完整的研究模型使用了一個 35 億參數的基礎擴散模型,並搭配一個獨立的放大階段。
訓練期間無分類器指導如何運作?
透過對真實提示和空提示進行訓練,模型學習條件生成和無條件生成,然後在採樣時在它們之間進行推斷。
哪一個後續系統在 DALL-E 2 的研究論文中描述其擴散解碼器修改了 GLIDE 架構?
該論文描述了將 CLIP 圖像條件設定加入到修改後的 GLIDE 架構中,以用於其 unCLIP 解碼器;這是一種具體的架構關聯。
為什麼 OpenAI 隻公開發布一個較小的、經過過濾的 GLIDE 版本?
OpenAI 因濫用問題而保留了完整模型,並發布了經過過濾的較小變體。