基礎知識指南

少樣本學習

少樣本學習是指從少數而不是數千個範例中學習新任務的能力。

概述

少樣本學習是指從少數而不是數千個範例中學習新任務的能力。這很重要,因為它反映了人類的概括方式,並讓現代人工智慧能夠立即適應,而無需昂貴的再培訓。

Few-Shot Learning 位於核心人工智慧工具包中。當你理解它時,其他人工智慧主題就變得更容易評估和比較。

深入探討

傳統的機器學習需要巨大的標記資料集,但少樣本學習的目標是在每個類別僅看到幾個範例後表現良好。大型語言模型普及了上下文中的小樣本學習:您直接在提示中放置一些輸入輸出範例,模型會推斷出模式並將其應用於新的輸入,所有這些都無需更新其權重。這個術語來自對顯示的範例進行計數,通常寫為 N-way K-shot(N 個類,每個類有 K 個範例)。零樣本意味著沒有例子,一樣本意味著一個,而少樣本通常意味著兩個到幾十個。這是有效的,因為模型在預訓練期間已經吸收了廣泛的模式,因此一些範例主要提示要使用哪些現有技能。

技術洞察

上下文中的小樣本學習依賴 Transformer 閱讀提示中的範例並使用注意力來匹配模式,沒有梯度更新或權重變化。這些範例限制了模型對新輸入的下一個標記預測。一個單獨的系列、基於度量的方法(例如原型網路和匹配網路)會學習嵌入空間,在其中將新樣本與每個類別的幾個範例的平均值進行比較並選擇最接近的。兩條路線都利用了先前的學習,因此稀缺標籤大有幫助。

掌握小樣本學習

少樣本學習是指從少數而不是數千個範例中學習新任務的能力。這很重要,因為它反映了人類的概括方式,並讓現代人工智慧能夠立即適應,而無需昂貴的再培訓。 Few-Shot Learning 位於核心人工智慧工具包中。當你理解它時,其他人工智慧主題就變得更容易評估和比較。為了建立深入的理解,請將少樣本學習視為一種操作模型,而不是單一功能:定義期望的結果,澄清假設,並將系統可以可靠地完成的任務與仍需要專家判斷的任務分開。

在實踐中,使用少樣本學習的強大團隊首先建立強大的概念模型,然後將這些模型映射到實際的生產限制。他們記錄明確的成功標準,根據實際數據和工作流程進行測試,並根據觀察到的失敗模式而不是一次性基準測試勝利進行迭代。這就是理論理解轉變為跨產品、政策和營運的持久能力的地方。

它可以幫助您將清晰的技術聲明與行銷語言分開。同時,不同的團隊可能會以不同的方式使用相同術語,因此請儘早定義範圍。最具彈性的方法是將實驗速度與治理規則結合:運行試點、捕獲證據、發布決策日誌,並隨著模型行為、使用者期望和監管要求的發展不斷更新保障措施。

戰略影響

它可以幫助您將清晰的技術聲明與行銷語言分開。

它可以幫助您將清晰的技術聲明與行銷語言分開。在高品質部署中,這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式,以便團隊可以增強信心,而不是擴大模糊性。

在花費金錢或時間之前,您可以提出更好的實施問題。

在花費金錢或時間之前,您可以提出更好的實施問題。在高品質部署中,這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式,以便團隊可以增強信心,而不是擴大模糊性。

具有共同理解的團隊可以做出更好的產品、政策和學習決策。

具有共同理解的團隊可以做出更好的產品、政策和學習決策。在高品質部署中,這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式,以便團隊可以增強信心,而不是擴大模糊性。

少樣本學習的未來

小樣本學習正在成為人們使用大型模型的預設方式,因此前沿技術正在使其變得更加可靠:更好的範例選擇、排序和檢索,因此提示會自動選擇最有用的演示。期望與檢索更緊密地集成,以及適合更多示例的更長上下文窗口,以及對示例順序和格式擺動準確性為何如此之高的研究。隨著模型的改進,零樣本和少樣本之間的差距縮小了,以完成簡單的任務,而少樣本對於特殊格式和邊緣情況仍然很有價值。

現實世界的實施

在提示中顯示模型後,將客戶支援票證分類為每個類別的三個或四個標籤的範例。

透過提供兩個或三個範例輸入輸出對來教導聊天機器人特定的輸出格式(例如帶有命名欄位的 JSON)。

使用視覺系統中的原型網路從少數拍攝的樣本中識別出罕見的製造缺陷。

透過在請求中包含幾個前後範例,調整翻譯或摘要風格以匹配品牌的聲音。

實施模式

實踐中的少樣本學習

在提示中顯示模型後,將客戶支援票證分類為每個類別的三個或四個標籤的範例。

在顯示模型後將客戶支援工單分類為提示中每個類別的三個或四個標記範例,當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移追蹤生產力增益和錯誤成本時,通常會獲得更好的結果。

實踐中的少樣本學習

透過提供兩個或三個範例輸入輸出對來教導聊天機器人特定的輸出格式(例如帶有命名欄位的 JSON)。

透過提供兩到三個範例輸入輸出對來教導聊天機器人特定的輸出格式(例如帶有命名欄位的 JSON)。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並追蹤一段時間內的生產力提升和錯誤成本時,通常會獲得更好的結果。

實踐中的少樣本學習

使用視覺系統中的原型網路從少數拍攝的樣本中識別出罕見的製造缺陷。

使用視覺系統中的原型網絡從少數拍攝的樣品中識別罕見的製造缺陷當團隊預先定義質量閾值、為邊緣情況保留人工升級路徑並隨著時間的推移跟踪生產力增益和錯誤成本時,通常會獲得更好的結果。

實踐中的少樣本學習

透過在請求中包含幾個前後範例,調整翻譯或摘要風格以匹配品牌的聲音。

透過在請求中包含幾個前後範例來調整翻譯或摘要風格以匹配品牌的聲音。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移追蹤生產力增益和錯誤成本時,通常會得到更好的結果。

風險與防護欄

!

不同的團隊可能會以不同的方式使用相同術語,因此請儘早定義範圍。

!

基準測試可能看起來很強大,但實際效能卻參差不齊。

!

忽視數據品質和評估計劃通常會產生脆弱的結果。

實施路線圖

1

從您需要的結果的簡單語言定義開始。

從您需要的結果的簡單語言定義開始。將每個步驟視為證據門:如果不符合標準,則暫停推出,縮小差距,然後再擴大使用。

2

在測試之前選擇一種成功指標和一種失敗條件。

在測試之前選擇一種成功指標和一種失敗條件。將每個步驟視為證據門:如果不符合標準,則暫停推出,縮小差距,然後再擴大使用。

3

使用代表性資料運行小型試點,而不是完善的演示集。

使用代表性資料運行小型試點,而不是完善的演示集。將每個步驟視為證據門:如果不符合標準,則暫停推出,縮小差距,然後再擴大使用。

4

記錄少樣本學習在哪些方面有幫助以及在哪些方面更簡單的方法更好。

記錄少樣本學習在哪些方面有幫助以及在哪些方面更簡單的方法更好。將每個步驟視為證據門:如果不符合標準,則暫停推出,縮小差距,然後再擴大使用。

不斷探索