概述
LPIPS 將此類特徵距離與人類相似度判斷進行校準,但沒有分數保證每一對圖像都會被每位觀眾以相同方式判斷。
深入探討
像 L2(均方誤差)這樣的傳統損失會逐像素比較圖像,因此一個像素的偏移或稍微不同的紋理看起來像是一個巨大的錯誤,即使人類幾乎沒有註意到。感知損失透過預訓練網路(通常是 VGG)運行兩個影像,並比較中間層的活化。由於這些特徵對邊緣、紋理和物件部分進行編碼,而不是精確的像素值,因此損失可以更好地與人類判斷保持一致,從而鼓勵清晰、語義上忠實的輸出。 LPIPS(學習感知影像區塊相似度),由Zhang等人提出。 2018 年,它正式化了這一點:它提取深層特徵,對其進行標準化,並應用根據數千個人類相似性判斷校準的學習權重,產生單個距離分數,其中越低意味著感知上越相似。
現實世界的實施
訓練超解析度網路(例如 SRGAN),使放大的照片看起來清晰且有紋理,而不是模糊。
透過對解碼影像在感知上與原始影像的接近程度進行評分來評估影像壓縮和編解碼器。
指導風格轉換,其中內容透過深度 VGG 特徵而不是精確像素進行匹配。
透過報告產生影像和真實影像之間的 LPIPS 距離對 GAN 和擴散影像產生器進行基準測試。
知覺損失和 LPIPS 的未來
感知指標正在從 CNN 主幹轉向 DINO 和 CLIP 等自監督和視覺轉換器模型的特徵,這些模型捕捉更豐富的語義。預計與擴散模型訓練和文字到影像評估的更緊密整合,以及針對視訊時間一致性調整的感知分數。研究人員也正在探索 LPIPS 的盲點:它可能會被對手愚弄,並且與非常高保真度的品質相關性較弱,從而激發了新的人類對齊指標,例如 DISTS 和整合方法。
付諸實踐
為什麼這很重要
- 速度與規模. 視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
- 配裝選擇. 創意團隊可以透過更少的手動修改來更快地建立概念原型。
- 團隊與工作流程. 操作可以使用以前難以處理的影像和視訊訊號。
留意
- 如果出處不明,肖像權和同意可能會成為法律風險。
- 模型表現可能因光照、人口統計和環境的不同而有所不同。
- 除非監控置信閾值,否則誤報可能會被忽略。
後續步驟
- 定義精確度、召回率和錯誤成本的接受標準。
- 使用符合實際生產條件的數據進行測試。
- 為低置信度或高影響力的預測添加人工審核。
- 追蹤模型漂移並在相機或資料集變更後重新驗證。
不斷探索
常見問題
什麼是知覺損失和 LPIPS?
感知損失是比較神經網路的圖像表示,而非僅依賴像素差異。LPIPS 會將這類特徵距離校準至人類相似度判斷,但沒有任何分數能保證每對圖像都會被所有觀者以相同方式評價。
與感知損失相比,為什麼基於像素的 L2 損失經常誤判影像相似性?
L2 直接比較像素,因此即使影像對人來說看起來不錯,小的空間偏移或紋理差異也會被記錄為大錯誤。
LPIPS 主要比較兩張影像之間的什麼?
LPIPS 從固定主幹中提取深層特徵激活並測量它們的距離,這比像素更符合人類感知。
LPIPS 中每個頻道的權重是如何決定的?
學習權重以配合人類兩個替代強制選擇相似決策的大型資料集(BAPPS)。
較低的 LPIPS 值對於測試的圖像對表示什麼?
LPIPS 雖已校準至人類相似度判斷,但其距離仍屬於模型基礎的度量,具有局限性。
哪一個骨幹網絡最常與經典感知(特徵)損失有關?
VGG 的中間特徵圖成為超解析度和風格遷移等任務中感知損失的標準。