概述
它可以支援更有效率的部署,但學生的準確度與行為取決於其容量、訓練資料以及教師訊號。
深入探討
大型模型準確但速度慢且部署成本高。知識蒸餾透過讓學生從教師的輸出而非僅從硬標籤中學習,將其能力轉移到精簡的模型中。由 Hinton 及其同僚提出的核心見解是:教師的完整機率分佈帶有「黑暗知識」:即使它預測是「狗」,「狼」相對於「汽車」的相對機率也揭示了教師如何看待相似性。透過溫度參數來平滑這些機率會顯現出該結構,並且訓練學生去匹配它,通常也會同時配合真實標籤。其目標是讓有效率的學生受益於教師的監督;實際的準確度與速度必須針對特定任務與實作進行衡量。DistilBERT 和 TinyBERT 是知名的蒸餾語言模型。
現實世界的實施
DistilBERT 將 BERT 的參數壓縮了約 40%,同時保留了大部分語言理解,以實現更快的推理。
縮小大型視覺模型,以便影像分類器可以在智慧型手機相機應用程式上即時運行。
將大模型的思維鏈推理提煉成更小的模型,使其更便宜地回答數學或編碼問題。
將模型集合壓縮為單一學生,從而降低生產服務成本和延遲,而不會失去太多準確性。
知識蒸餾的未來
蒸餾現在是交付高效模型的標準步驟,也是當今小型、功能強大的開放模型浪潮的核心。一个快速增长的趋势是从大型语言模型中进行序列级蒸馏,其中强大的模型生成训练数据或推理轨迹(包括思维链)来教授较小的学生,从而模糊了与合成数据的界限。当从输出成为竞争对手训练信号的专有模型中提取时,预计会与量化和修剪进行更紧密的配对,更多的设备上部署,以及有关许可和质量的持续争论。
付諸實踐
為什麼這很重要
- 成本與預算. 多年來,架構決策決定著效能和營運成本。
- 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
- 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。
留意
- 優化一項基準測試可以隱藏更廣泛的系統弱點。
- 基礎設施和維護成本常常被低估。
- 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。
後續步驟
- 在實施之前定義延遲、品質和成本目標。
- 在實際負載和資料條件下進行基準測試。
- 儀器監控錯誤、漂移和使用者影響。
- 在擴展之前準備回滾和事件回應路徑。
不斷探索
常見問題
什麼是知識蒸餾?
知識蒸餾利用教師模型的輸出或表徵作為監督,來訓練學生模型。它可以支援更有效率的部署,但學生的準確度與行為取決於其容量、訓練資料以及教師訊號。
在知识蒸馏中,训练的学生模型是做什么的?
蒸餾將大教師的能力轉化為緊湊、更快的學生模型。
老師的「暗知識」是什麼意思?
暗知識是老師全機率分佈中的結構,就像「狼」和「狗」有多相似,而不僅僅是最上面的答案。
溫度 (T) 在蒸餾中扮演什麼角色?
較高的溫度使機率分佈變得平坦,揭示了學生應該學習的相對相似性。
經典的蒸餾損失結合了哪兩個組成部分?
學生配對老師的軟化分佈(KL 項),同時也擬合真實標籤(交叉熵)。
哪一個是蒸餾語言模型的範例?
DistilBERT 是從 BERT 中提煉出來的著名模型,以更少的參數保留了大部分效能。