A continuaciónSiguiente guía
Cómo vencer el desfase horario con un horario de IA
Aplicaciones
GUÍA Técnica
Programas de calentamiento y recocido de coseno
El calentamiento aumenta suavemente la tasa de aprendizaje desde casi cero antes del entrenamiento, luego el recocido del coseno la reduce suavemente siguiendo una curva de coseno.
Escuche esta guíaNarrado por IA · ~2 min
En esta pagina2 minutos de lectura
Descripción general
Together they stabilize early training and squeeze out better final accuracy, which is why nearly every modern transformer is trained this way.
Buceo profundo
Cuando comienza el entrenamiento, los pesos del modelo son aleatorios y los gradientes pueden ser enormes, por lo que saltar directamente a una tasa de aprendizaje alta a menudo causa picos de pérdida o divergencias, especialmente con optimizadores adaptativos como Adam, cuyas estimaciones de varianza no son confiables en los primeros pasos. El calentamiento soluciona este problema aumentando linealmente la velocidad entre unos pocos cientos y unos miles de pasos. Una vez que el modelo se encuentra en una base estable, el recocido coseno toma el control, decayendo la velocidad en 0,5 * (1 + cos(pi * t / T)) de su pico. La forma del coseno mantiene la tasa alta desde el principio para un progreso rápido, luego disminuye gradualmente para que el optimizador pueda establecerse en un buen mínimo en lugar de rebotar alrededor de él.
Implementación en el mundo real
Los modelos de lenguaje de estilo GPT y BERT utilizan un calentamiento lineal durante el primer ~1-2% de los pasos, seguido de una caída del coseno hasta casi cero.
Los transformadores de visión (ViT) se entrenan con recocido de coseno y un breve calentamiento para evitar divergencias tempranas en ImageNet.
Hugging Face Transformers ofrece `get_cosine_schedule_with_warmup` como un programador de una línea para trabajos de ajuste.
Difusión estable y otros modelos de difusión se ajustan con el calentamiento para evitar explosiones de gradiente al adaptar pesos previamente entrenados.
El futuro de los programas de calentamiento y recocido de coseno
Warmup-plus-coseno sigue siendo la receta predeterminada para modelos de lenguaje grandes, pero las variantes se están extendiendo. Warmup-stable-decay (WSD) mantiene una tasa constante y luego decae bruscamente al final, lo que facilita extender las ejecuciones sin volver a comprometerse con una longitud fija. Los investigadores también están estudiando por qué funciona el calentamiento (vinculándolo con el ruido del gradiente y la curvatura del paisaje de pérdidas) y las herramientas ajustan cada vez más la duración del calentamiento y la velocidad máxima, reduciendo el ensayo y error manual que domina hoy en día.
Poniéndolo en práctica
Por qué es importante
- Costo y presupuesto. Las decisiones de arquitectura impulsan el rendimiento y los costos operativos durante años.
- Decisiones más claras. La educación técnica ayuda a los equipos a elegir la pila adecuada, no sólo la más nueva.
- control de calidad. Mejores opciones de ingeniería reducen los incidentes de confiabilidad en la producción.
cuidado con
- La optimización de un punto de referencia puede ocultar debilidades más amplias del sistema.
- Los costos de infraestructura y mantenimiento a menudo se subestiman.
- Las brechas de seguridad y observabilidad pueden crecer a medida que los sistemas se vuelven más complejos.
Próximos pasos
- Defina objetivos de latencia, calidad y costos antes de la implementación.
- Comparación en condiciones realistas de carga y datos.
- Monitoreo de instrumentos para detectar errores, deriva e impacto para el usuario.
- Prepare rutas de reversión y respuesta a incidentes antes de escalar.
Sigue explorando
Boletín gratuito
Recibe el resumen diario de IA
Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.
Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.
Ponte a prueba
Take the Warmup and Cosine Annealing Schedules quiz
Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.
Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación
Preguntas frecuentes
What is Warmup and Cosine Annealing Schedules?
El calentamiento aumenta suavemente la tasa de aprendizaje desde casi cero antes del entrenamiento, luego el recocido del coseno la reduce suavemente siguiendo una curva de coseno. Juntos estabilizan el entrenamiento inicial y logran una mayor precisión final, razón por la cual casi todos los transformadores modernos se entrenan de esta manera.
¿Cuál es el objetivo principal de la fase de calentamiento al inicio del entrenamiento?
Comenzar con una tasa de aprendizaje alta con pesos aleatorios puede provocar picos de pérdida o divergencias, por lo que el calentamiento aumenta la tasa suavemente para mantener estables los primeros pasos.
¿El recocido del coseno desciende la tasa de aprendizaje, siguiendo qué forma?
La velocidad se incrementa en 0,5 * (1 + cos(pi * t / T)), lo que produce una colina suave que se mantiene alta al principio y se desliza hasta cerca de cero al final.
¿Qué optimizador se beneficia especialmente del calentamiento porque sus estimaciones de varianza no son confiables desde el principio?
Las estimaciones de la varianza de carrera de Adam se basan en muy pocas muestras en los primeros pasos, lo que hace que el tamaño efectivo del paso sea errático; el calentamiento mitiga esto.
En la fórmula del coseno, ¿qué representa T?
T es el horizonte en el que la tasa decae desde su máximo hasta cerca de cero; Este es el paso actual dentro de ese horizonte.
In the guide’s warmup-plus-cosine schedule, what begins after warmup reaches its target rate?
The guide describes a short linear warmup followed by cosine annealing.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.