自我監督學習
自監督學習透過發明一個任務來訓練未標記資料的模型，該任務的答案隱藏在資料本身中。
概述
這是現代語言與視覺基礎模型如何從原始網路中學習，無需大量人類標籤者。
深入探討
手動標記資料既緩慢又昂貴，但世界上充滿了未標記的文字、圖像、音訊和視訊。自我監督學習透過創建「藉口任務」來解鎖它，其中數據提供自己的答案。典型的例子是 BERT 使用的屏蔽語言模型：隱藏句子中的一些單字並訓練模型根據上下文來預測它們。 GPT 風格的模型預測下一個單字。在視覺方面，SimCLR 等對比方法向模型展示同一圖像的兩個增強作物，並教導它它們屬於在一起，同時將不同的圖像分開。解決這些自製的難題迫使模型建構豐富的意義和結構的內部表示。然後，這些表示可以在很少或沒有標記資料的情況下有效地轉移到真正的下游任務。
技術洞察
訣竅是免費產生監督訊號。在屏蔽建模中，隱藏的標記是標籤，因此可以在沒有任何人工註釋的情況下計算損失。在對比學習中，一個影像的兩個增強形成一個“正對”，應該靠近嵌入空間，而其他影像則被“負”推開。無論哪種方式，模型都會在純粹從資料本身結構派生的標籤上進行最佳化，學習隨後只需要進行輕微微調的一般特徵。
戰略影響
更明確的決策
它可以幫助您將清晰的技術聲明與行銷語言分開。
成本與預算
在花費金錢或時間之前，您可以提出更好的實施問題。
團隊與工作流程
具有共同理解的團隊可以做出更好的產品、政策和學習決策。
自我監督學習的未來
自我監督學習是當今基礎模型背後的引擎，而且這一作用只會越來越大。明顯的趨勢是多模式預訓練，其中單一模型使用自我監督目標從文字、圖像、音訊和視訊中聯合學習。研究人員正在超越對比方法，轉向視覺中的掩模預測方法和不需要反面例子的自蒸餾技術。隨著高品質標記資料成為瓶頸，直接從大量未標記資料流中學習有用的結構將仍然是擴展人工智慧的核心策略。
現實世界的實施
BERT 透過預測屏蔽單字來學習語言，然後針對搜尋、情緒或問題回答進行微調
SimCLR 在未標記的照片上預先訓練影像編碼器，以便稍後可以使用很少的標籤進行分類
GPT 風格的模型透過在巨大的文本語料庫中重複預測下一個標記來學習寫作
在適應轉錄之前，對原始未標記音訊進行預訓練的語音模型（預測掩蔽聲音片段）
風險與防護欄
不同的團隊可能會以不同的方式使用相同術語，因此請儘早定義範圍。
基準測試可能看起來很強大，但實際效能卻參差不齊。
忽視數據品質和評估計劃通常會產生脆弱的結果。
實施路線圖
從您需要的結果的簡單語言定義開始。
在測試之前選擇一種成功指標和一種失敗條件。
使用代表性資料運行小型試點，而不是完善的演示集。
記錄自我監督學習在哪些方面有幫助以及哪些更簡單的方法更好。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Self-Supervised Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
什麼是自我監督學習？
自監督學習透過發明一個任務來訓練未標記資料的模型，該任務的答案隱藏在資料本身中。這就是現代語言和視覺基礎模型如何從原始互聯網中學習，而無需大量人工標記者。
是什麼讓學習成為「自我監督」？
自監督學習發明了一種藉口任務，其中答案隱藏在數據中，因此不需要人工標記。
為什麼自監督學習對於基礎模型如此有價值？
由於監督訊號來自資料本身，因此可以在網路上大量未標記的語料庫上對模型進行預訓練。
自監督預訓練之後，接下來通常會發生什麼事？
預訓練建構了傳輸良好的通用表示，因此特定任務只需要對標記資料進行輕微微調。
GPT 式模型的自監督任務與 BERT 有何不同？
GPT 風格的模型經過訓練來預測序列中的下一個標記，而 BERT 使用左右上下文來預測屏蔽標記。