深入探討
潛在擴散模型使用預訓練的自編碼器將影像映射到低維潛在空間,在該空間進行擴散,然後解碼結果。論文加入了交叉注意力,以文字或邊界框等作為條件。去噪網路被訓練來預測擴散步驟中的噪聲。與像素空間擴散相比,這在報告的實驗中降低了計算需求,但結果取決於自編碼器和模型設定。第一階段的自編碼器可能是變分的或向量量化的,視系統而定。在所引用的潛在擴散設定中,對每個影像軸進行 8 倍的空間降維,且空間條件(如分割圖)可與潛在輸入串接。
現實世界的實施
在擴散過程之前,將影像編碼為潛在向量。
使用交叉注意力將文字作為條件加入生成。
將最終潛在向量解碼為影像。
比較在指定解析度與自編碼器下的計算量與保真度。
潛在擴散模型的未來
潛在擴散是生成方法中的一種設計選擇。請檢查模型的訓練解析度、潛在表示與授權,而不要假設所有擴散系統都使用相同的流程。
付諸實踐
為什麼這很重要
- 速度與規模. 視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
- 配裝選擇. 創意團隊可以透過更少的手動修改來更快地建立概念原型。
- 團隊與工作流程. 操作可以使用以前難以處理的影像和視訊訊號。
留意
- 如果出處不明,肖像權和同意可能會成為法律風險。
- 模型表現可能因光照、人口統計和環境的不同而有所不同。
- 除非監控置信閾值,否則誤報可能會被忽略。
後續步驟
- 定義精確度、召回率和錯誤成本的接受標準。
- 使用符合實際生產條件的數據進行測試。
- 為低置信度或高影響力的預測添加人工審核。
- 追蹤模型漂移並在相機或資料集變更後重新驗證。
不斷探索
常見問題
什麼是潛在擴散模型?
潛在擴散模型是在壓縮的圖像表示中執行去噪過程,而不是直接在像素空間中進行。
與像素空間擴散相比,潛在擴散模型的主要創新是什麼?
第一階段自編碼器將影像映射為壓縮的潛在表示;擴散在此表示上運作,解碼器將最終潛在向量映回像素。
在潛在擴散模型(latent diffusion)中,第一階段的自動編碼器(autoencoder)有什麼作用?
第一階段自編碼器將影像資料壓縮成擴散模型使用的潛在表示,並將抽樣的潛在向量解碼回影像空間。
文字通常如何在潛在擴散中註入去噪 U-Net 中?
來自文字編碼器的標記嵌入被輸入交叉注意層,讓空間特徵專注於提示。
為什麼潛在擴散模型中的去噪過程比像素空間擴散模型更能減少運算量?
潛在擴散將去噪網路應用於壓縮的潛在格子,而非完整像素格子;自編碼器的解碼器仍會將最終潛在向量轉回像素。
原始潛在擴散論文研究了哪些第一階段自動編碼器的正規化變體?
潛在擴散論文研究了 KL 正則化與 VQ 正則化的第一階段自編碼器;具體的表示取決於所選的配置。