Що є Дистиляція знань?

Стиснення знань із великої моделі вчителя в меншу модель учня.

Менша модель, навчена імітувати поведінку більшої моделі, використовуючи менше обчислень для висновку.

Останній момент часу, відображений у даних навчання моделі.

Підходи до навчання, які дозволяють моделі продовжувати навчатися на нових даних, не забуваючи попередні знання.

Навчання моделі з позначеними прикладами, які відображають вхідні дані та відомі результати.

Підхід до навчання та формування поведінки, коли результати моделі керуються фіксованим набором письмових принципів.