概述
它結合了鑑別器的對抗性損失和原始教師模型的指導。 ADD 生產了 SDXL Turbo,潛在變體用於快速模型,例如 SD3 Turbo,以及根據 Black Forest Labs 的 Flux.1 schnell。結果是在普通硬體上近乎即時地生成影像,但在多樣性和精細控制方面付出了一定的代價。
深入探討
標準擴散模型透過多個步驟(通常為 20 到 50 個)消除雜訊來創建影像,並且每個步驟都是透過大型網路的完整傳遞。蒸餾訓練學生網絡以較少的步驟達到類似的結果。 Stability AI 在 Axel Sauer 及其同事於 2023 年 11 月與 SDXL Turbo 一起發布的論文中介紹了對抗擴散蒸餾。學生從預先訓練的 SDXL 權重開始,並接受兩次損失訓練。對抗性損失來自於試圖區分學生的輸出和真實影像的鑑別器。在 ADD 中,此鑑別器建立在具有小型可訓練頭的凍結預訓練視覺主幹(DINOv2)上。蒸餾損失以原SDXL為師。學生的輸出再次被加噪,老師對其進行去噪,然後學生被推向老師的預測,這是一種分數蒸餾的形式。對抗性術語使單步驟影像保持清晰,而教師術語使它們忠於大型模型所知道的內容。後來的變體,潛在對抗擴散蒸餾(LADD),使用教師自己的特徵在潛在空間中運行鑑別器,這避免了昂貴的像素解碼。它被用於 SD3 Turbo,Black Forest Labs 表示 Flux.1 schnell 就是這樣訓練的。權衡是真實的。蒸餾模型通常會失去一些樣本多樣性,因此同一提示的不同種子可能看起來很相似。通常內建無分類器指導,因此指導範圍和負面提示的行為不同或幾乎不起作用。精細的細節、文字渲染和不尋常的構圖可能落後於老師。一個常見的誤解是,渦輪模型只是運行較少步驟的完整模型。正常的模型一步運行會造成一團模糊的混亂,速度來自於重新訓練。快速採樣的其他途徑包括一致性模型、LCM、漸進式蒸餾和 SDXL Lightning。
現實世界的實施
即時繪圖應用程式會在使用者每次鍵入或編輯草圖時重新產生影像,一步使用 SDXL Turbo,因此結果幾乎立即出現。
遊戲工作室原型概念藝術使用 Flux.1 schnell 分四個步驟生成數百個快速變體,然後使用較慢的完整模型來完善所選變體。
開發人員發現負面提示和高指導值對 Turbo 模型作用不大,因為指導是在蒸餾過程中內建的。相反,他們調整了提示措辭。
一個小型非營利組織在中檔 GPU 上運行本地圖像工具,並選擇了一個精煉模型,因為四步驟生成可以讓現場研討會的等待時間足夠短。
對抗擴散蒸餾和渦輪模型的未來
少步生成已成為新圖像模型的預期選項,類似的蒸餾思想也應用於視頻,其中每個保存的步驟都更加重要。研究仍在繼續縮小多樣性和即時控制方面的差距,例如將對抗性損失與分佈匹配目標相結合。一步式模型是否能夠完全匹配他們的老師仍然是一個懸而未決的問題,答案取決於如何衡量品質。對於使用者來說,實際結果是更多的選擇:用於草稿、預覽和互動式工具的快速提煉模型,以及在細節和控制最重要時較慢的完整模型。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是對抗擴散蒸餾和渦輪模型?
對抗擴散蒸餾 (ADD) 是一種訓練方法,可將緩慢的多步驟擴散模型轉變為透過一到四個步驟產生影像的學生。它結合了鑑別器的對抗性損失和原始教師模型的指導。 ADD 生產了 SDXL Turbo,潛在變體用於快速模型,例如 SD3 Turbo,以及根據 Black Forest Labs 的 Flux.1 schnell。結果是在普通硬體上近乎即時地生成影像,但在多樣性和精細控制方面付出了一定的代價。
ADD 結合了哪兩個損失?
ADD 將判別器的對抗性損失(使影像保持清晰)與教師的分數蒸餾損失(使它們忠於原始模型)配對。
哪個模型與 ADD 論文一起發表?
Stability AI 與 Sauer 及其同事於 2023 年 11 月發布的 ADD 論文一起發布了 SDXL Turbo。
ADD 的鑑別器使用什麼主幹網路?
鑑別器使用凍結的預訓練 DINOv2 特徵,並僅在其上訓練小頭。
LADD 與 ADD 有何不同?
LADD 使用教師自己的特徵將辨別力轉移到潛在空間,從而避免了昂貴的像素解碼。
為什麼負面提示往往對turbo車型影響不大?
負面提示透過無分類器的指導來運作。蒸餾模型通常會在訓練期間吸收指導,並且在沒有指導的情況下運行,因此負面提示會失去效果。