概述
這很重要,因為它可以讓人工智慧從大多數未標記的數據中學習強大的表示,從而為圖像搜尋、推薦和多模態模型提供支援。
深入探討
對比學習不是預測標籤,而是透過比較來學習:給定一個錨點,對模型進行訓練,以便匹配的「正」落在向量空間中靠近它的位置,而不匹配的「負」落在遠處。常見的自我監督方法(如 SimCLR)透過對相同影像進行兩次隨機增強(裁剪、顏色抖動、模糊)來創造正面效果;該批次中的其他所有內容均為陰性。該模型將輸入映射到向量,並且損失獎勵該對的高相似性和其餘的低相似性。這會產生距離反映含義的嵌入,因此下游任務需要的標籤要少得多。 CLIP 在各種模式中應用了相同的想法,將圖像與其標題相匹配。
現實世界的實施
CLIP 學習共享圖像文字空間,以便您可以使用鍵入的短語(如「滑板上的狗」)搜尋照片庫。
使用 SimCLR 在未標記的照片上預先訓練視覺主幹,然後對其進行微調,僅使用少量標記集進行疾病檢測。
建立產品或歌曲推薦,其中使用者喜歡的項目嵌入緊密結合在一起,以便進行最近鄰居檢索。
人臉驗證系統可以訓練嵌入,使同一個人的兩張照片距離很近,而不同人的兩張照片距離很遠。
對比學習的未來
對比學習正在與屏蔽式和生成式自我監督融合成混合目標,捕捉全局相似性和細節。其最大的影響是多模式的:對比對齊的圖像文字(現在是音訊和視訊)嵌入支撐搜尋、檢索增強生成和零樣本分類,並且足跡將會增長。預計會有更多工作來減少對大批量的需求,更好的增強和負挖掘策略,以及將該方法擴展到標籤稀缺和昂貴的醫學成像和時間序列等領域。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是對比學習?
對比學習教導模型將相似的事物放在一起,並將不同的事物在嵌入空間中分開。這很重要,因為它可以讓人工智慧從大多數未標記的數據中學習強大的表示,從而為圖像搜尋、推薦和多模態模型提供支援。
對比學習的核心目標是什麼?
對比學習塑造了一個嵌入空間,因此匹配對很近,不匹配對則相距很遠。
在 SimCLR 這樣的自監督影像方法中,通常如何建立正對?
SimCLR 從一幅影像的兩個增強視圖中形成正片,而批次中的其他影像則作為負片。
哪一種損失函數與對比學習最相關?
InfoNCE 是一個關於溫度相似度分數的 softmax,是標準的對比目標。
為什麼像 MoCo 這樣的方法使用記憶體庫或佇列?
對比學習有很多缺點。隊列提供它們,同時保持批量大小易於管理。
BYOL 和 SimSiam 在不使用明確否定的情況下特別防範什麼問題?
如果沒有負數,模型可以輕鬆地將所有內容映射到同一個向量;停止梯度和動量目標可以防止這種崩潰。