Термін глосарію AI

Що таке Дистиляція знань?

Визначення

Навчання меншої моделі імітувати результати більшої моделі.

Перегляньте повний Глосарій ШІПерегляньте всі безкоштовні посібники зі штучного інтелекту

Споріднені терміни

ДистиляціяСтиснення знань із великої моделі вчителя в меншу модель учня.Дистильована модельМенша модель, навчена імітувати поведінку більшої моделі, використовуючи менше обчислень для висновку.Відсічення знаньОстанній момент часу, відображений у даних навчання моделі.Постійне навчанняПідходи до навчання, які дозволяють моделі продовжувати навчатися на нових даних, не забуваючи попередні знання.Контрольоване навчанняНавчання моделі з позначеними прикладами, які відображають вхідні дані та відомі результати.Конституційний ШІПідхід до навчання та формування поведінки, коли результати моделі керуються фіксованим набором письмових принципів.

Дізнайтеся більше в наших безкоштовних посібниках

AI Knowledge ManagementDINO Self-DistillationGraphRAG Knowledge GraphsDreamFusion and Score Distillation Sampling

Дивіться також

Knowledge GraphJailbreakLabel SmoothingIntent ClassificationLatencyInstruction TuningLarge Language Model (LLM)Inference-Time Compute