A continuaciónSiguiente guía
Modelos turbo y destilación por difusión adversaria
Técnico
GUÍA Técnica
Destilación del conocimiento
Knowledge distillation trains a student model using a teacher model’s outputs or representations as supervision.
Escuche esta guíaNarrado por IA · ~2 min
En esta pagina2 minutos de lectura
Descripción general
It can support more efficient deployment, but the student’s accuracy and behavior depend on its capacity, training data, and the teacher signal.
Buceo profundo
Big models are accurate but slow and expensive to deploy. Knowledge distillation transfers their capability into a compact model by having the student learn from the teacher's outputs rather than only from hard labels. The key insight, from Hinton and colleagues, is that a teacher's full probability distribution carries 'dark knowledge': even when it predicts 'dog', the relative probabilities for 'wolf' versus 'car' reveal how the teacher sees similarities. Softening these probabilities with a temperature exposes that structure, and the student is trained to match it, often alongside the true labels. The goal is an efficient student that benefits from teacher supervision; the actual accuracy and speed must be measured for the task and implementation. DistilBERT and TinyBERT are well-known distilled language models.
Implementación en el mundo real
DistilBERT comprime BERT a aproximadamente un 40% menos de parámetros y al mismo tiempo conserva la mayor parte de su comprensión del lenguaje para una inferencia más rápida.
Reducir un modelo de visión grande para que un clasificador de imágenes pueda ejecutarse en tiempo real en una aplicación de cámara de teléfono inteligente.
Destilar el razonamiento de la cadena de pensamiento de un modelo grande en un modelo más pequeño para que responda preguntas de matemáticas o codificación de manera más económica.
Comprimir un conjunto de modelos en un solo estudiante para que los costos de producción y la latencia disminuyan sin mucha pérdida de precisión.
El futuro de la destilación del conocimiento
La destilación es ahora un paso estándar en el envío de modelos eficientes y es fundamental para la ola actual de modelos abiertos pequeños y capaces. Una tendencia de rápido crecimiento es la destilación a nivel de secuencia de grandes modelos de lenguaje, donde un modelo sólido genera datos de entrenamiento o rastros de razonamiento (incluida la cadena de pensamiento) para enseñar a estudiantes más pequeños, desdibujando la línea con datos sintéticos. Espere una combinación más estrecha con la cuantificación y la poda, una mayor implementación en el dispositivo y un debate continuo sobre las licencias y la calidad al destilar modelos propietarios cuyos resultados se convierten en una señal de entrenamiento de la competencia.
Poniéndolo en práctica
Por qué es importante
- Costo y presupuesto. Las decisiones de arquitectura impulsan el rendimiento y los costos operativos durante años.
- Decisiones más claras. La educación técnica ayuda a los equipos a elegir la pila adecuada, no sólo la más nueva.
- control de calidad. Mejores opciones de ingeniería reducen los incidentes de confiabilidad en la producción.
cuidado con
- La optimización de un punto de referencia puede ocultar debilidades más amplias del sistema.
- Los costos de infraestructura y mantenimiento a menudo se subestiman.
- Las brechas de seguridad y observabilidad pueden crecer a medida que los sistemas se vuelven más complejos.
Próximos pasos
- Defina objetivos de latencia, calidad y costos antes de la implementación.
- Comparación en condiciones realistas de carga y datos.
- Monitoreo de instrumentos para detectar errores, deriva e impacto para el usuario.
- Prepare rutas de reversión y respuesta a incidentes antes de escalar.
Sigue explorando
Boletín gratuito
Recibe el resumen diario de IA
Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.
Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.
Ponte a prueba
Take the Knowledge Distillation quiz
Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.
Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación
Preguntas frecuentes
What is Knowledge Distillation?
Knowledge distillation trains a student model using a teacher model’s outputs or representations as supervision. It can support more efficient deployment, but the student’s accuracy and behavior depend on its capacity, training data, and the teacher signal.
In knowledge distillation, what is the student model trained to do?
La destilación transfiere la capacidad de un gran profesor a un modelo de estudiante compacto y más rápido.
¿Qué se entiende por "conocimiento oscuro" del maestro?
El conocimiento oscuro es la estructura en la distribución de probabilidad completa del maestro, como lo similar que es "lobo" con "perro", no solo la respuesta principal.
¿Qué papel juega la temperatura (T) en la destilación?
Una temperatura más alta aplana la distribución de probabilidad, revelando las similitudes relativas que el estudiante debería aprender.
¿Qué dos componentes combinan la pérdida por destilación clásica?
El estudiante coincide con la distribución suavizada del maestro (término KL) y al mismo tiempo ajusta las etiquetas de verdad fundamental (entropía cruzada).
¿Cuál es un ejemplo de modelo de lenguaje destilado?
DistilBERT es un modelo conocido derivado de BERT, que conserva la mayor parte del rendimiento con muchos menos parámetros.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.