概述
遷移學習重用已經在大型資料集上訓練的模型，並將其適應新的相關任務。您無需從頭開始，而是站在已經學習了有用的一般特徵的模型的肩膀上，從而節省大量時間、數據和計算。
遷移學習位於核心人工智慧工具包。當你理解它時，其他人工智慧主題就變得更容易評估和比較。
深入探討
從零開始訓練強大的模型通常需要數百萬個標記範例和強大的硬體。遷移學習迴避了這一點。在大型資料集上進行預先訓練的模型，例如在 ImageNet 上訓練的圖像網路或在網路文字上訓練的語言模型，已經學習了廣泛有用的模式：視覺的邊緣和形狀、文字的語法和含義。您採用此預訓練模型並使其知識適應您較小的特定問題。主要有兩種風格。在特徵提取中，您凍結大部分網路並僅在頂部訓練一個新的輸出層。在微調過程中，您還可以解凍一些更深的層，並繼續以低學習率訓練它們，以便模型輕輕地調整您的數據，而不會忘記它所知道的內容。
技術洞察
預先訓練的網路學習層次結構：早期層捕捉通用特徵（邊緣、紋理、基本單字關係），而後面的層則捕捉特定於任務的概念。遷移學習利用了這一點。如果您的任務與原始任務類似，請將早期層凍結為固定特徵提取器並僅重新訓練頭部。如果您的資料差異較大，請使用非常小的學習率微調更深的層，以便更新是溫和的。最大的風險是領域轉移：如果新資料看起來與預訓練資料差異太大，那麼借用的特徵就不太適合。
掌握遷移學習
遷移學習重用已經在大型資料集上訓練的模型，並將其適應新的相關任務。您無需從頭開始，而是站在已經學習了有用的一般特徵的模型的肩膀上，從而節省大量時間、數據和計算。遷移學習位於核心人工智慧工具包。當你理解它時，其他人工智慧主題就變得更容易評估和比較。為了建立深入的理解，請將遷移學習視為操作模型，而不是單一功能：定義期望的結果，澄清假設，並將系統可以可靠地完成的任務與仍需要專家判斷的任務分開。
在實踐中，使用遷移學習的強大團隊首先建立強大的概念模型，然後將這些模型映射到實際的生產限制。他們記錄明確的成功標準，根據實際數據和工作流程進行測試，並根據觀察到的失敗模式而不是一次性基準測試勝利進行迭代。這就是理論理解轉變為跨產品、政策和營運的持久能力的地方。
它可以幫助您將清晰的技術聲明與行銷語言分開。同時，不同的團隊可能會以不同的方式使用相同術語，因此請儘早定義範圍。最具彈性的方法是將實驗速度與治理規則結合：運行試點、捕獲證據、發布決策日誌，並隨著模型行為、使用者期望和監管要求的發展不斷更新保障措施。
戰略影響
它可以幫助您將清晰的技術聲明與行銷語言分開。
它可以幫助您將清晰的技術聲明與行銷語言分開。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
在花費金錢或時間之前，您可以提出更好的實施問題。
在花費金錢或時間之前，您可以提出更好的實施問題。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
具有共同理解的團隊可以做出更好的產品、政策和學習決策。
具有共同理解的團隊可以做出更好的產品、政策和學習決策。在高品質部署中，這會轉化為可衡量的操作規則、所有權邊界和定期審查儀式，以便團隊可以增強信心，而不是擴大模糊性。
現實世界的實施
微調 ImageNet 預訓練網絡，僅用數千張照片即可偵測工廠生產線上的特定缺陷
透過對較小的專業語料庫進行微調，採用大型預訓練語言模型來起草法律或醫學摘要
使用一般語音訓練的模型作為起點來建構特定口音或方言的辨識器
重新訓練視覺模型的最後一層，以根據農業應用程式的葉子圖像對植物病害進行分類
實施模式
遷移學習實踐
微調 ImageNet 預訓練網絡，僅用數千張照片即可偵測工廠生產線上的特定缺陷。
微調 ImageNet 預訓練網絡，僅用數千張照片即可偵測工廠生產線上的特定缺陷。當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並追蹤一段時間內的生產力提升和錯誤成本時，通常會獲得更好的結果。
遷移學習實踐
透過對較小的專業語料庫進行微調，採用大型預訓練語言模型來起草法律或醫學摘要。
透過在較小的專業語料庫上進行微調，採用大型預訓練語言模型來起草法律或醫學摘要當團隊預先定義質量閾值、為邊緣情況保留人工升級路徑並隨著時間的推移跟踪生產力增益和錯誤成本時，通常會獲得更好的結果。
遷移學習實踐
使用一般語音訓練的模型作為起點來建構特定口音或方言的辨識器。
使用在一般語音上訓練的模型作為起點來構建特定口音或方言的識別器當團隊預先定義質量閾值、為邊緣情況保留人工升級路徑並隨著時間的推移跟踪生產力增益和錯誤成本時，通常會得到更好的結果。
遷移學習實踐
重新訓練視覺模型的最後一層，以根據農業應用程式的葉子圖像對植物病害進行分類。
重新訓練視覺模型的最後一層，以根據農業應用程式的葉子圖像對植物病害進行分類 當團隊預先定義品質閾值、為邊緣情況保留人工升級路徑並隨著時間的推移跟踪生產力增益和錯誤成本時，通常會獲得更好的結果。
風險與防護欄
不同的團隊可能會以不同的方式使用相同術語，因此請儘早定義範圍。
基準測試可能看起來很強大，但實際效能卻參差不齊。
忽視數據品質和評估計劃通常會產生脆弱的結果。
實施路線圖
從您需要的結果的簡單語言定義開始。
從您需要的結果的簡單語言定義開始。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
在測試之前選擇一種成功指標和一種失敗條件。
在測試之前選擇一種成功指標和一種失敗條件。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
使用代表性資料運行小型試點，而不是完善的演示集。
使用代表性資料運行小型試點，而不是完善的演示集。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。
記錄遷移學習在哪些方面有幫助以及哪些更簡單的方法更好。
記錄遷移學習在哪些方面有幫助以及哪些更簡單的方法更好。將每個步驟視為證據門：如果不符合標準，則暫停推出，縮小差距，然後再擴大使用。