Что такое Дистилляция знаний?

Сжатие знаний из большой модели учителя в меньшую модель ученика.

Меньшая модель обучена имитировать поведение более крупной модели, используя при этом меньше вычислений.

Последний момент времени отражается в данных обучения модели.

Подходы к обучению, которые позволяют модели продолжать обучение на новых данных, не забывая при этом предыдущие знания.

Обучение модели с помощью размеченных примеров, которые сопоставляют входные данные с известными выходными данными.

Подход к обучению и формированию поведения, при котором результаты модели определяются фиксированным набором письменных принципов.