Глоссарий терминов искусственного интеллекта

Что такое Дистилляция знаний?

Определение

Обучение меньшей модели имитации результатов более крупной модели.

Просмотрите полный глоссарий AIИзучите все бесплатные руководства по искусственному интеллекту

Связанные термины

ДистилляцияСжатие знаний из большой модели учителя в меньшую модель ученика.Дистиллированная модельМеньшая модель обучена имитировать поведение более крупной модели, используя при этом меньше вычислений.Прекращение знанийПоследний момент времени отражается в данных обучения модели.Постоянное обучениеПодходы к обучению, которые позволяют модели продолжать обучение на новых данных, не забывая при этом предыдущие знания.Контролируемое обучениеОбучение модели с помощью размеченных примеров, которые сопоставляют входные данные с известными выходными данными.Конституционный ИИПодход к обучению и формированию поведения, при котором результаты модели определяются фиксированным набором письменных принципов.

Узнайте больше в наших бесплатных руководствах.

AI Knowledge ManagementDINO Self-DistillationGraphRAG Knowledge GraphsDreamFusion and Score Distillation Sampling

См. также

Knowledge GraphJailbreakLabel SmoothingIntent ClassificationLatencyInstruction TuningLarge Language Model (LLM)Inference-Time Compute