技術指南

知識蒸餾

知識蒸餾利用教師模型的輸出或表徵作為監督,來訓練學生模型。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 知識蒸餾的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

它可以支援更有效率的部署,但學生的準確度與行為取決於其容量、訓練資料以及教師訊號。

深入探討

大型模型準確但速度慢且部署成本高。知識蒸餾透過讓學生從教師的輸出而非僅從硬標籤中學習,將其能力轉移到精簡的模型中。由 Hinton 及其同僚提出的核心見解是:教師的完整機率分佈帶有「黑暗知識」:即使它預測是「狗」,「狼」相對於「汽車」的相對機率也揭示了教師如何看待相似性。透過溫度參數來平滑這些機率會顯現出該結構,並且訓練學生去匹配它,通常也會同時配合真實標籤。其目標是讓有效率的學生受益於教師的監督;實際的準確度與速度必須針對特定任務與實作進行衡量。DistilBERT 和 TinyBERT 是知名的蒸餾語言模型。

現實世界的實施

DistilBERT 將 BERT 的參數壓縮了約 40%,同時保留了大部分語言理解,以實現更快的推理。

縮小大型視覺模型,以便影像分類器可以在智慧型手機相機應用程式上即時運行。

將大模型的思維鏈推理提煉成更小的模型,使其更便宜地回答數學或編碼問題。

將模型集合壓縮為單一學生,從而降低生產服務成本和延遲,而不會失去太多準確性。

知識蒸餾的未來

蒸餾現在是交付高效模型的標準步驟,也是當今小型、功能強大的開放模型浪潮的核心。一个快速增长的趋势是从大型语言模型中进行序列级蒸馏,其中强大的模型生成训练数据或推理轨迹(包括思维链)来教授较小的学生,从而模糊了与合成数据的界限。当从输出成为竞争对手训练信号的专有模型中提取时,预计会与量化和修剪进行更紧密的配对,更多的设备上部署,以及有关许可和质量的持续争论。

付諸實踐

為什麼這很重要

  • 成本與預算. 多年來,架構決策決定著效能和營運成本。
  • 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
  • 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。

留意

  • 優化一項基準測試可以隱藏更廣泛的系統弱點。
  • 基礎設施和維護成本常常被低估。
  • 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。

後續步驟

  1. 在實施之前定義延遲、品質和成本目標。
  2. 在實際負載和資料條件下進行基準測試。
  3. 儀器監控錯誤、漂移和使用者影響。
  4. 在擴展之前準備回滾和事件回應路徑。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

參加知識蒸餾測驗

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是知識蒸餾?

知識蒸餾利用教師模型的輸出或表徵作為監督,來訓練學生模型。它可以支援更有效率的部署,但學生的準確度與行為取決於其容量、訓練資料以及教師訊號。

在知识蒸馏中,训练的学生模型是做什么的?

蒸餾將大教師的能力轉化為緊湊、更快的學生模型。

老師的「暗知識」是什麼意思?

暗知識是老師全機率分佈中的結構,就像「狼」和「狗」有多相似,而不僅僅是最上面的答案。

溫度 (T) 在蒸餾中扮演什麼角色?

較高的溫度使機率分佈變得平坦,揭示了學生應該學習的相對相似性。

經典的蒸餾損失結合了哪兩個組成部分?

學生配對老師的軟化分佈(KL 項),同時也擬合真實標籤(交叉熵)。

哪一個是蒸餾語言模型的範例?

DistilBERT 是從 BERT 中提煉出來的著名模型,以更少的參數保留了大部分效能。