概述
BYOL (Bootstrap Your Own Latent) learns useful image representations without any labels and, surprisingly, without negative examples. It showed that self-supervised learning need not rely on pushing apartment pushing apartment for the need.
BYOL 和非對比自我監督是一個技術構建塊，會大規模影響模型品質、基礎設施成本、延遲和可靠性。
深入探討
大多數早期的自我監督方法都是對比的：它們將同一圖像的兩個增強視圖拉在一起，同時將不同的圖像分開，這需要許多負樣本以避免崩潰（網路為所有內容輸出相同的向量）。 DeepMind 在 2020 年推出的 BYOL 完全消除了負面影響。它使用兩個網路：線上網路和目標網路。 Two augmented views of one image go through the two networks; the online network adds a prediction head and is trained to predict the target network's representation of the other view. Critically, the target network's weight descent.相反，它們是在線權重的指數移動平均值 (EMA)。這種不對稱性加上 EMA 目標可以防止對比方法擔心的微不足道的崩潰，匹配或擊敗 ImageNet 上的對比基準。
技術洞察
三種成分可以在沒有負數的情況下停止崩潰：在線分支上的額外預測器 MLP、目標分支上的停止梯度以及 EMA 更新的目標。該目標充當緩慢移動的回歸目標，因此線上網路追逐穩定的、滯後的目標，而不是其自身的行動副本。 The predictor's asymmetry breaks the symmetry that would otherwise let both branches trivially output a constant. Batch normalization in the projector also contributes implicit regularization.
Mastering BYOL and Non-Contrastive Self-Supervision
BYOL（Bootstrap Your Own Latent）可以在沒有任何標籤的情況下學習有用的圖像表示，而且令人驚訝的是，沒有負面例子。它表明，自我監督學習不需要依賴於推開不同的圖像，從而避免了對大量底片的需求。 BYOL 和非對比自我監督是一個技術構建塊，會大規模影響模型品質、基礎設施成本、延遲和可靠性。為了建立深入的理解，請將 BYOL 和非對比自我監督視為一種營運模式，而不是單一功能：定義期望的結果，澄清假設，並將系統可以可靠地執行的操作與仍需要專家判斷的操作分開。
在實踐中，使用 BYOL 和非對比自我監督的強大團隊可以根據可靠性和成本來優化架構、資料和基礎架構選擇。他們記錄明確的成功標準，根據實際數據和工作流程進行測試，並根據觀察到的失敗模式而不是一次性基準測試勝利進行迭代。這就是理論理解轉變為跨產品、政策和營運的持久能力的地方。
多年來，架構決策決定著效能和營運成本。同時，優化一個基準測試可以隱藏更廣泛的系統弱點。最具彈性的方法是將實驗速度與治理規則結合：運行試點、捕獲證據、發布決策日誌，並隨著模型行為、使用者期望和監管要求的發展不斷更新保障措施。
戰略影響
多年來，架構決策決定著效能和營運成本。
多年來，架構決策決定著效能和營運成本。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
技術教育幫助團隊選擇正確的堆疊，而不僅僅是最新的堆疊。
技術教育幫助團隊選擇正確的堆疊，而不僅僅是最新的堆疊。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
更好的工程選擇可以減少生產中的可靠性事故。
更好的工程選擇可以減少生產中的可靠性事故。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
現實世界的實施
在數百萬張未標記的照片上預先訓練視覺主幹，然後在缺乏專家註釋的小型標記醫學影像資料集上進行微調。
Learning robot perception features from raw camera streams without hand-labeling, reducing the cost of teaching manipulation tasks.
Building image-retrieval and deduplication systems using BYOL embeddings that group visually similar images without any class labels.
Initializing satellite or aerial imagery models on vast unlabeled archives before fine-tuning for land-use or deforestation classification.
實施模式
BYOL 和非對比自我監督的實踐
在數百萬張未標記的照片上預先訓練視覺主幹，然後在缺乏專家註釋的小型標記醫學影像資料集上進行微調。
在數百萬張未標記的照片上預先訓練視覺主幹，然後在缺乏專家註釋的小型標記醫學影像資料集上進行微調。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並追蹤一段時間內的生產力增益和錯誤成本時，通常會獲得更好的結果。
BYOL 和非對比自我監督的實踐
Learning robot perception features from raw camera streams without hand-labeling, reducing the cost of teaching manipulation tasks.
从原始相机流中学习机器人感知功能，无需手动标记，从而降低教学操作任务的成本当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会获得更好的结果。
BYOL 和非對比自我監督的實踐
Building image-retrieval and deduplication systems using BYOL embeddings that group visually similar images without any class labels.
使用 BYOL 嵌入建立影像檢索和重複資料刪除系統，將視覺上相似的影像分組，而無需任何類別標籤。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移追蹤生產力增益和錯誤成本時，通常會獲得更好的結果。
BYOL 和非對比自我監督的實踐
Initializing satellite or aerial imagery models on vast unlabeled archives before fine-tuning for land-use or deforestation classification.
在对土地利用或森林砍伐分类进行微调之前，在大量未标记的档案上初始化卫星或航空图像模型当团队预先定义质量阈值、为边缘情况保留人工升级路径并随着时间的推移跟踪生产力增益和错误成本时，通常会得到更好的结果。
風險與防護欄
優化一項基準測試可以隱藏更廣泛的系統弱點。
基礎設施和維護成本常常被低估。
隨著系統變得更加複雜，安全性和可觀察性差距可能會擴大。
實施路線圖
在實施之前定義延遲、品質和成本目標。
在實施之前定義延遲、品質和成本目標。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
在實際負載和資料條件下進行基準測試。
在實際負載和資料條件下進行基準測試。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
儀器監控錯誤、漂移和使用者影響。
儀器監控錯誤、漂移和使用者影響。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
在擴展之前準備回滾和事件回應路徑。
在擴展之前準備回滾和事件回應路徑。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。