概述
它表明,自我監督學習不需要依賴於推開不同的圖像,從而避免了對大量負片的需要。
深入探討
大多數早期的自我監督方法都是對比的:它們將同一圖像的兩個增強視圖拉在一起,同時將不同的圖像分開,這需要許多負樣本以避免崩潰(網路為所有內容輸出相同的向量)。 DeepMind 在 2020 年推出的 BYOL 完全消除了負面影響。它使用兩個網路:線上網路和目標網路。一個圖像的兩個增強視圖透過兩個網路;線上網路新增了一個預測頭,並經過訓練來預測目標網路對另一個視圖的表示。至關重要的是,目標網路的權重不是透過梯度下降來訓練的。相反,它們是在線權重的指數移動平均值 (EMA)。這種不對稱性加上 EMA 目標可以防止對比方法擔心的微不足道的崩潰,匹配或擊敗 ImageNet 上的對比基準。
現實世界的實施
在數百萬張未標記的照片上預先訓練視覺主幹,然後在缺乏專家註釋的小型標記醫學影像資料集上進行微調。
從原始相機流中學習機器人感知功能,無需手動標記,從而降低了教學操作任務的成本。
使用 BYOL 嵌入建立影像檢索和重複資料刪除系統,將視覺上相似的影像分組,而無需任何類別標籤。
在對土地利用或森林砍伐分類進行微調之前,在大量未標記的檔案上初始化衛星或航空影像模型。
BYOL 和非對比自我監督的未來
現在,非對比性的想法在很大程度上是自我監督的願景的基礎。 SimSiam 進一步剝離了 BYOL,表明如果保留停止梯度,則並不嚴格要求 EMA 目標,從而加深了對為何避免崩潰的理解。預計這些無標籤預訓練方法將繼續與蒙版影像建模和多模態訓練相結合,並擴展到標籤稀缺或昂貴的視訊、音訊、醫學成像和機器人領域,通常作為輕量級監督微調之前的預訓練階段。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是 BYOL 和非對比自我監督?
BYOL(Bootstrap Your Own Latent)可以在沒有任何標籤的情況下學習有用的圖像表示,而且令人驚訝的是,沒有負面例子。它表明,自我監督學習不需要依賴於推開不同的圖像,從而避免了對大量底片的需求。
是什麼讓 BYOL 不具對比性?
BYOL 論文強調了沒有負對的學習表示。
線上網路學習預測什麼?
BYOL 訓練線上分支來預測兩個視圖中的目標表示。
目標網路權重如何更新?
該論文描述了用緩慢移動平均線更新目標。
為什麼 BYOL 在目標端使用線上預測器和停止梯度?
BYOL 方法使用不對稱性和停止梯度作為其設計的一部分。
BYOL 中相同影像的兩個視圖會發生什麼事?
該論文透過預測一個視圖的目標表示來學習另一個視圖的目標表示。