概述
這很重要,因為標註資料成本高昂,而智慧選擇能用極少的註解達到高準確度。
深入探討
大多數監督學習假設您已經擁有大量標記資料。主動學習翻轉了這一點:你從一個小的標記集和大量未標記的示例開始,然後反复要求人類(“預言家”)僅標記信息最豐富的示例。該模型經過訓練,用於對未標記的池進行評分,並且發送最高值的範例進行標記 - 然後重複循環。常見的選擇策略包括不確定性抽樣(選擇模型最不自信的範例)、委員會查詢(選擇整體不同意的地方)和多樣性抽樣(涵蓋資料的不同區域)。如果做得好,主動學習可以使用更少的標籤來匹配完整資料集的準確性,這就是為什麼它在醫學影像、自然語言處理以及專家註釋緩慢或昂貴的任何領域流行的原因。
現實世界的實施
放射學團隊透過讓模型標記最模糊的掃描供放射專家進行標記來訓練腫瘤檢測器,從而大大減少註釋時間。
垃圾郵件或內容審核系統會顯示人類審查者最不確定的邊界訊息,在硬邊界情況下改進得最快。
語音辨識公司選擇其模型最不確定的音訊剪輯(口音、噪音)來發送轉錄,而不是標記隨機剪輯。
電子商務目錄使用委員會查詢來挑選多個分類器不同意的產品圖像,並優先考慮它們以進行手動類別標記。
主動學習的未來
主動學習越來越多地與大型預訓練和基礎模型相結合,其目標從標記所有內容轉變為對一些高價值範例進行廉價的微調。預計與弱監督、自監督預訓練和人機循環工具的更緊密整合,為審閱者提供標籤以供確認而不是創建。由於標籤成本在許多實際部署中占主導地位,因此自動選擇加上高效的註釋介面仍將是在醫學和法律等資料稀缺的專業領域中建立模型的核心。
付諸實踐
為什麼這很重要
- 更明確的決策. 它可以幫助您將清晰的技術聲明與行銷語言分開。
- 成本與預算. 在花費金錢或時間之前,您可以提出更好的實施問題。
- 團隊與工作流程. 具有共同理解的團隊可以做出更好的產品、政策和學習決策。
留意
- 不同的團隊可能會以不同的方式使用相同術語,因此請儘早定義範圍。
- 基準測試可能看起來很強大,但實際效能卻參差不齊。
- 忽視數據品質和評估計劃通常會產生脆弱的結果。
後續步驟
- 從您需要的結果的簡單語言定義開始。
- 在測試之前選擇一種成功指標和一種失敗條件。
- 使用代表性資料運行小型試點,而不是完善的演示集。
- 記錄主動學習在哪些方面有幫助以及在哪些方面更簡單的方法更好。
不斷探索
常見問題
什麼是主動學習?
主動學習是一種訓練策略,模型本身會選擇人類接下來應該標記哪些未標記的範例。這很重要,因為標記資料非常昂貴,而智慧選擇可以透過一小部分註釋達到高精度。
一個團隊擁有大量未標記資料,但專家時間有限。主動學習會要求團隊接下來標記什麼?
指南描述了向預測者詢問選定的資訊豐富範例,然後在訓練中使用它們的標籤。
在指南的主動學習循環中,預測者是什麼?
預測者為選定的範例提供標籤,通常是人類標註者或專家。
兩個產品分類器對同一類別有強烈分歧。哪種策略會優先將該範例列入標記?
委員會查詢會選擇多個模型存在分歧的範例。
一個分類器對未標記項目給出兩個類別幾乎相等的機率。為什麼不確定性抽樣會查詢它?
領先類別分數之間的微小差距是指南所描述的不確定性信號之一。
為什麼批次選擇器會結合多樣性與不確定性?
指南警告說,貪婪追求不確定性可能忽略資料的其他部分。