什么是 知识蒸馏?

将知识从大型教师模型压缩到较小的学生模型中。

经过训练的较小模型可以模仿较大模型的行为，同时在推理时使用较少的计算。

模型训练数据中反映的最新时间点。

让模型不断从新数据中学习而不忘记先验知识的训练方法。

使用将输入映射到已知输出的标记示例来训练模型。

一种训练和行为塑造方法，其中模型输出由一组固定的书面原则指导。