Qu'est-ce que Distillation des connaissances?

Compression des connaissances d'un grand modèle d'enseignant dans un modèle d'étudiant plus petit.

Un modèle plus petit entraîné pour imiter le comportement d'un modèle plus grand tout en utilisant moins de calcul lors de l'inférence.

Le dernier moment reflété dans les données d’entraînement d’un modèle.

Des approches de formation qui permettent à un modèle de continuer à apprendre de nouvelles données sans oublier les connaissances antérieures.

Entraîner un modèle avec des exemples étiquetés qui mappent les entrées aux sorties connues.

Une approche de formation et de formation des comportements où les résultats du modèle sont guidés par un ensemble fixe de principes écrits.