概述
學習到的離散潛變量可以為下游生成模型提供緊湊的 token 序列。
深入探討
《Neural Discrete Representation Learning》提出了 VQ-VAE,其編碼器輸出離散代碼,而非標準 VAE 的連續潛變量,並包含對代碼的學習先驗。直通估計器(straight-through estimator)讓編碼器的梯度穿過量化過程,而目標函數則包含碼本項和承諾項(commitment terms)。VQGAN 將向量量化與感知及對抗訓練相結合,並研究了圖像壓縮與合成。這些是特定的模型設計,並不保證離散代碼能保留所有資訊。
現實世界的實施
編碼器將輸入映射為連續潛空間向量,並將其量化為碼本中的條目。
解碼器利用選取的碼本向量來重建輸入。
DALL·E 在自回歸 Transformer 先驗模型之前,使用了一個離散 VAE 圖像分詞器。
VQGAN 在特定的圖像分詞方法中增加了感知損失和對抗損失。
VQ-VAE 和離散潛在變數的未來
針對目標數據,比較碼本利用率、重建品質以及下游性能。請報告分詞器、碼本和目標函數,因為結果取決於表示和訓練的選擇。所引用的來源並未證明離散潛變量總是優於連續表示。
付諸實踐
為什麼這很重要
- 速度與規模. 視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
- 配裝選擇. 創意團隊可以透過更少的手動修改來更快地建立概念原型。
- 團隊與工作流程. 操作可以使用以前難以處理的影像和視訊訊號。
留意
- 如果出處不明,肖像權和同意可能會成為法律風險。
- 模型表現可能因光照、人口統計和環境的不同而有所不同。
- 除非監控置信閾值,否則誤報可能會被忽略。
後續步驟
- 定義精確度、召回率和錯誤成本的接受標準。
- 使用符合實際生產條件的數據進行測試。
- 為低置信度或高影響力的預測添加人工審核。
- 追蹤模型漂移並在相機或資料集變更後重新驗證。
不斷探索
常見問題
什麼是 VQ-VAE 和離散潛伏?
VQ-VAE 將輸入編碼為離散碼本索引,並透過解碼器進行重建。學習到的離散潛變量可以為下游生成模型提供緊湊的 token 序列。
VQ-VAE 的潛在空間與標準 VAE 的潛在空間有何不同?
VQ-VAE 使用透過向量量化從學習的碼本中提取的離散代碼來替換連續潛在變數。
VQ-VAE 如何透過不可微量化步驟傳遞梯度?
直通估計器將解碼器輸入梯度直接複製到編碼器輸出,將量化視為後向傳遞的恆等式。
什麼是「密碼本崩潰」?
當模型僅依賴少數程式碼時,就會發生碼本崩潰,浪費了大部分碼本並損害了多樣性。
為什麼離散潛在變數對於使用 Transformer 進行生成建模很有用?
離散索引形成有限的詞彙表,因此 Transformer 等序列模型可以像單字一樣學習和取樣它們的分佈。
VQGAN 在基本 VQ-VAE 配方之上添加了什麼?
VQGAN 透過鑑別器和感知損失增強了 VQ-VAE,從而產生更清晰、更詳細的重構標記。