Що є Дистиляція?

Навчання меншої моделі імітувати результати більшої моделі.

Підходи до навчання, які дозволяють моделі продовжувати навчатися на нових даних, не забуваючи попередні знання.

Метод, який отримує зовнішні знання та передає їх у генерацію під час висновку.

Пошук відповідних документів або записів із джерела знань для запиту.

Запис про те, звідки надійшли дані, як вони були перетворені та де використовуються.

Техніка конфіденційності, яка додає статистичний шум, щоб окремі записи не можна було надійно вивести з результатів.