Término del glosario de IA

¿Qué es Destilación del conocimiento?

Definición

Entrenar un modelo más pequeño para imitar los resultados de un modelo más grande.

Explore el glosario completo de IAExplora todas las guías gratuitas de IA

Términos relacionados

DestilaciónComprimir el conocimiento de un modelo de profesor grande a un modelo de estudiante más pequeño.Modelo destiladoUn modelo más pequeño entrenado para imitar el comportamiento de un modelo más grande mientras usa menos computación en la inferencia.Límite de conocimientoEl último momento reflejado en los datos de entrenamiento de un modelo.Aprendizaje continuoEnfoques de entrenamiento que permiten que un modelo siga aprendiendo de nuevos datos sin olvidar el conocimiento previo.Aprendizaje supervisadoEntrenar un modelo con ejemplos etiquetados que asignan entradas a salidas conocidas.IA constitucionalUn enfoque de capacitación y configuración del comportamiento en el que los resultados del modelo se guían por un conjunto fijo de principios escritos.

Obtenga más información en nuestras guías gratuitas.

AI Knowledge ManagementDINO Self-DistillationGraphRAG Knowledge GraphsDreamFusion and Score Distillation Sampling

Véase también

Knowledge GraphJailbreakLabel SmoothingIntent ClassificationLatencyInstruction TuningLarge Language Model (LLM)Inference-Time Compute