Terme du glossaire IA

Qu’est-ce que Distillation des connaissances ?

Définition

Entraîner un modèle plus petit pour imiter les résultats d'un modèle plus grand.

Parcourez le glossaire complet de l'IAExplorez tous les guides gratuits sur l'IA

Termes associés

DistillationCompression des connaissances d'un grand modèle d'enseignant dans un modèle d'étudiant plus petit.Modèle distilléUn modèle plus petit entraîné pour imiter le comportement d'un modèle plus grand tout en utilisant moins de calcul lors de l'inférence.Seuil de connaissanceLe dernier moment reflété dans les données d’entraînement d’un modèle.Apprentissage continuDes approches de formation qui permettent à un modèle de continuer à apprendre de nouvelles données sans oublier les connaissances antérieures.Apprentissage superviséEntraîner un modèle avec des exemples étiquetés qui mappent les entrées aux sorties connues.IA constitutionnelleUne approche de formation et de formation des comportements où les résultats du modèle sont guidés par un ensemble fixe de principes écrits.

Apprenez-en davantage dans nos guides gratuits

AI Knowledge ManagementDINO Self-DistillationGraphRAG Knowledge GraphsDreamFusion and Score Distillation Sampling

Voir aussi

Knowledge GraphJailbreakLabel SmoothingIntent ClassificationLatencyInstruction TuningLarge Language Model (LLM)Inference-Time Compute