什么是 蒸馏?

训练较小的模型来模仿较大模型的输出。

让模型不断从新数据中学习而不忘记先验知识的训练方法。

一种检索外部知识并在推理时将其输入生成的方法。

从知识源中查找相关文档或记录以进行查询。

记录数据来自何处、如何转换以及在何处使用。

一种隐私技术，会增加统计噪声，因此无法从输出中可靠地推断出单个记录。