視覺人工智慧指南

滑翔擴散模型

GLIDE 是一種早期的 OpenAI 文字到圖像擴散模型,它顯示提示加上“無分類器指導”,可以擊敗早期基於 GAN 的系統。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. GLIDE 擴散模型的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

這是通往 DALL-E 2 的關鍵踏腳石。

深入探討

由 OpenAI 於 2021 年末發布的 GLIDE(Guided Language to Image Diffusion for Generation and Editing)展示了文字引導的擴散模型能夠生成逼真且符合提示詞的圖像。它最大的貢獻在於比較了兩種引導生成的方式:CLIP 引導與無分類器引導(classifier-free guidance)。研究團隊發現,無分類器引導能產生更逼真且對齊度更好的圖像,這一結果影響了此後幾乎所有的文字轉圖像模型。GLIDE 還支援文字驅動的修復功能(inpainting),讓使用者能透過新的提示詞編輯圖像的一部分。它使用了一個 35 億參數的擴散模型加上一個放大器(upsampler)。OpenAI 公開發布了一個較小且經過篩選的版本,但基於濫用疑慮未公開完整模型;而 DALL-E 2 的研究論文則描述了一種 unCLIP 解碼器,該解碼器修改了 GLIDE 架構以接受 CLIP 圖像條件設定。

現實世界的實施

從句子(例如所描述的場景)生成圖像,展示早期快速忠實的合成

文字驅動的修復:遮蓋照片的一部分並用文字描述的新物件填充它

透過後續提示新增或替換元素來編輯現有影像

作為研究基線,證明無分類器指導在對齊方面優於 CLIP 指導

GLIDE 擴散模型的未來

GLIDE 本身在很大程度上是歷史性的,被 DALL-E 2、Imagen 和 Stable Diffusion 所取代,但它的思想仍然存在。無分類器指導仍然是權衡保真度和多樣性的預設旋鈕,文字驅動的修復現在已成為標準。未來的系統將持續完善引導時間表,減少強引導原因造成的偽影,並將相同的原理擴展到視訊和 3D 擴散,因此 GLIDE 的影響力比模型更長久。

付諸實踐

為什麼這很重要

  • 速度與規模. 視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
  • 配裝選擇. 創意團隊可以透過更少的手動修改來更快地建立概念原型。
  • 團隊與工作流程. 操作可以使用以前難以處理的影像和視訊訊號。

留意

  • 如果出處不明,肖像權和同意可能會成為法律風險。
  • 模型表現可能因光照、人口統計和環境的不同而有所不同。
  • 除非監控置信閾值,否則誤報可能會被忽略。

後續步驟

  1. 定義精確度、召回率和錯誤成本的接受標準。
  2. 使用符合實際生產條件的數據進行測試。
  3. 為低置信度或高影響力的預測添加人工審核。
  4. 追蹤模型漂移並在相機或資料集變更後重新驗證。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加 GLIDE 擴散模型測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是 GLIDE 擴散模型?

GLIDE 是一種早期的 OpenAI 文字到圖像擴散模型,它顯示提示加上“無分類器指導”,可以擊敗早期基於 GAN 的系統。這是通往 DALL-E 2 道路上的關鍵墊腳石。

GLIDE 發現哪種引導方法可以產生更好、更迅速、更忠實的圖像?

GLIDE 表明,與 CLIP 指導相比,無分類器指導提供了更真實、更一致的結果。

在不計入放大器的情況下,已發布的完整 GLIDE 基礎擴散模型有多大?

完整的研究模型使用了一個 35 億參數的基礎擴散模型,並搭配一個獨立的放大階段。

訓練期間無分類器指導如何運作?

透過對真實提示和空提示進行訓練,模型學習條件生成和無條件生成,然後在採樣時在它們之間進行推斷。

哪一個後續系統在 DALL-E 2 的研究論文中描述其擴散解碼器修改了 GLIDE 架構?

該論文描述了將 CLIP 圖像條件設定加入到修改後的 GLIDE 架構中,以用於其 unCLIP 解碼器;這是一種具體的架構關聯。

為什麼 OpenAI 隻公開發布一個較小的、經過過濾的 GLIDE 版本?

OpenAI 因濫用問題而保留了完整模型,並發布了經過過濾的較小變體。