Что такое Дистилляция?

Обучение меньшей модели имитации результатов более крупной модели.

Подходы к обучению, которые позволяют модели продолжать обучение на новых данных, не забывая при этом предыдущие знания.

Метод, который извлекает внешние знания и вводит их в генерацию во время вывода.

Поиск соответствующих документов или записей из источника знаний для запроса.

Запись о том, откуда взялись данные, как они были преобразованы и где они используются.

Метод конфиденциальности, который добавляет статистический шум, поэтому отдельные записи не могут быть надежно выведены из выходных данных.