Какво е Дестилация на знания?

Компресиране на знания от голям модел на учител в по-малък модел на ученик.

По-малък модел, обучен да имитира поведението на по-голям модел, като същевременно използва по-малко изчисления при извод.

Последният момент във времето, отразен в данните за обучение на модел.

Подходи за обучение, които позволяват на модела да продължи да се учи от нови данни, без да забравя предишни знания.

Обучение на модел с обозначени примери, които картографират входове към известни изходи.

Подход за обучение и формиране на поведение, при който резултатите от модела се ръководят от фиксиран набор от писмени принципи.