概述
它們很重要,因為幾乎所有相機、手機和醫療掃描器都會產生不完美的影像,這些網路可以挽救這些影像。
深入探討
去雜訊可以消除隨機顆粒(通常來自低光或高 ISO),而去模糊則可以逆轉由相機震動、運動或失焦引起的拖尾現象。兩者都是“圖像恢復”任務,其中網路學習從退化圖像到乾淨圖像的映射。像 DnCNN 這樣的經典深度模型學會了預測雜訊本身,然後將其減去,而後來的工作則使用 U-Net 編碼器-解碼器來壓縮和重建影像。去模糊更加困難,因為模糊「內核」(每個像素如何被塗抹)通常是未知的,因此盲去模糊網路必須估計內核和清晰影像。訓練對是透過向乾淨的照片綜合添加雜訊或模糊來形成的,以便網路看到正確的答案。
現實世界的實施
消除智慧型手機低光源影像的雜訊,同時檢查重要細節是否維持真實
減少 CT 影像中與劑量相關的雜訊,或改善低 SNR MRI 影像,但不暗示 MRI 使用游離輻射
當模糊模式不確定時,為因移動而模糊的影像去模糊
在真實相機雜訊以及合成損壞上對降噪器進行基準測試
去雜訊和去模糊網路的未來
擴散與其他生成式修復方法正被探索用於影像恢復,但生成的紋理可能與輸入中的證據不同。SIDD 等真實世界資料集有助於評估超越理想化合成雜訊的智慧型手機降噪。實際的挑戰在於提高感知品質,同時保留實際上由測量結果支援的細節。
付諸實踐
為什麼這很重要
- 速度與規模. 視覺人工智慧可以大規模自動化檢查、檢測和標記任務。
- 配裝選擇. 創意團隊可以透過更少的手動修改來更快地建立概念原型。
- 團隊與工作流程. 操作可以使用以前難以處理的影像和視訊訊號。
留意
- 如果出處不明,肖像權和同意可能會成為法律風險。
- 模型表現可能因光照、人口統計和環境的不同而有所不同。
- 除非監控置信閾值,否則誤報可能會被忽略。
後續步驟
- 定義精確度、召回率和錯誤成本的接受標準。
- 使用符合實際生產條件的數據進行測試。
- 為低置信度或高影響力的預測添加人工審核。
- 追蹤模型漂移並在相機或資料集變更後重新驗證。
不斷探索
常見問題
什麼是去雜訊和去模糊網路?
去雜訊和去模糊網路是一種神經模型,可以清除雜訊或模糊影像,從雜亂的輸入中恢復清晰的細節。它們很重要,因為幾乎所有相機、手機和醫療掃描器都會產生不完美的影像,這些網路可以挽救這些影像。
DnCNN 在訓練過程中實際預測什麼?
DnCNN 使用殘差學習,預測雜訊本身,以便將其減去,這比重建整個乾淨影像更容易。
為什麼盲去模糊被認為比去雜訊更難?
在盲去模糊中,網路必須同時估計未知的模糊核和清晰影像,這使其成為不適定問題。
這些網路的訓練對通常是如何創建的?
研究人員用模擬雜訊或模糊來降低乾淨影像的質量,以便網路有正確的乾淨目標可供學習。
什麼架構通常用作影像恢復的骨幹?
U-Net 風格的編碼器-解碼器透過保留細節的跳躍連接來壓縮然後重建圖像,這使得它們在恢復中很受歡迎。
Noise2Noise 訓練方法背後的關鍵思想是什麼?
Noise2Noise 表示您可以使用成對的雜訊影像來訓練降噪器,因為網路會按照預期學習底層的乾淨訊號。