什麼是 知識蒸餾?

將知識從大型教師模式壓縮到較小的學生模式。

經過訓練的較小模型可以模仿較大模型的行為，同時在推理時使用較少的計算。

模型訓練資料中反映的最新時間點。

讓模型不斷從新資料中學習而不忘記先驗知識的訓練方法。

使用將輸入映射到已知輸出的標記範例來訓練模型。

一種訓練和行為塑造方法，其中模型輸出由一組固定的書面原則指導。