とは何ですか 知識の蒸留?

大規模な教師モデルからの知識をより小規模な生徒モデルに圧縮します。

推論時の計算量を減らしながら、より大きなモデルの動作を模倣するようにトレーニングされた小さなモデル。

モデルのトレーニング データに反映された最新の時点。

モデルが事前の知識を忘れることなく新しいデータから学習し続けることができるトレーニング アプローチ。

入力を既知の出力にマッピングするラベル付きの例を使用してモデルをトレーニングします。

モデルの出力が、文書化された一連の固定された原則によって導かれる、トレーニングおよび行動形成のアプローチ。