O que é Destilação de Conhecimento?

Comprimir o conhecimento de um modelo de professor grande em um modelo de aluno menor.

Um modelo menor treinado para imitar o comportamento de um modelo maior usando menos computação na inferência.

O último momento refletido nos dados de treinamento de um modelo.

Abordagens de treinamento que permitem que um modelo continue aprendendo com novos dados sem esquecer o conhecimento prévio.

Treinar um modelo com exemplos rotulados que mapeiam entradas para saídas conhecidas.

Uma abordagem de treinamento e modelagem de comportamento em que os resultados do modelo são guiados por um conjunto fixo de princípios escritos.