A continuaciónSiguiente guía
Ajuste fino frente a RAG frente a indicaciones
Idioma IA
GUÍA Técnica
Preentrenamiento continuo versus ajuste fino
El entrenamiento previo continuo continúa entrenando un modelo base con el mismo objetivo del siguiente token en grandes cantidades de texto de dominio sin procesar, mientras que el ajuste fino se entrena en un conjunto curado más pequeño de ejemplos etiquetados, como pares de instrucciones y respuestas, para moldear el comportamiento.
Escuche esta guíaNarrado por IA · ~3 min
En esta pagina4 minutos de lectura
Descripción general
La elección importa porque el primero cambia principalmente lo que un modelo sabe sobre un dominio y su lenguaje, el segundo cambia principalmente cómo responde, y los datos y el cómputo necesarios difieren enormemente.
Buceo profundo
Continued pretraining, also called domain-adaptive pretraining, picks up where the original pretraining stopped. The model sees raw text from the target domain, such as medical papers, source code or legal filings, and learns to predict every next token, exactly as in pretraining. Gururangan and colleagues showed in the 2020 paper Don't Stop Pretraining that a second phase of pretraining on in-domain text improved RoBERTa on tasks in biomedical, computer science, news and review domains. It usually needs large volumes of text, often billions of tokens, and full-parameter training, so it costs far more than fine-tuning. Fine-tuning, usually supervised fine-tuning, uses prompt and response pairs. Loss is typically computed only on the response tokens, so the model learns what to produce given an input. Datasets range from a few thousand to hundreds of thousands of examples, and parameter-efficient methods such as LoRA make it affordable on modest hardware. It is good at teaching format, style, task behavior and instruction following. Preference methods such as RLHF or DPO often follow. A common pipeline is base model, then continued pretraining, then supervised fine-tuning, then preference tuning. Continued pretraining has a known risk: catastrophic forgetting, where general skills degrade. Applied to a chat model, it can also erode instruction following, so teams often start from a base model and redo instruction tuning afterward. Two misconceptions stand out. First, fine-tuning is not a reliable way to add many new facts; research such as Gekhman and colleagues (2024) found models learn new facts slowly through fine-tuning and that doing so can increase hallucination. For fast-changing facts, retrieval is often the better tool. Second, BloombergGPT is sometimes cited as continued pretraining, but it was trained from scratch on a mix of financial and general data. A rough rule: use continued pretraining when domain language differs a lot from web text and unlabeled data is plentiful; use fine-tuning when you need a behavior or format.
Implementación en el mundo real
El código Llama se construyó continuando el entrenamiento de Llama 2 en un gran corpus de código, y algunas de sus variantes se entrenaron aún más para Python y para seguir instrucciones.
Una empresa de tecnología jurídica con millones de contratos y presentaciones sin etiquetar ejecuta un entrenamiento previo continuo para mejorar el manejo del lenguaje legal por parte del modelo, y luego realiza un ajuste fino en unos pocos miles de ejemplos anotados de extracción de cláusulas.
Un banco quiere un chatbot que responda en un formato JSON fijo con un tono determinado; el ajuste fino supervisado, o incluso una indicación cuidadosa, es suficiente porque el modelo ya conoce el contenido general.
Los modelos Meditron de la EPFL adaptaron Llama 2 a la medicina mediante un entrenamiento previo continuo en artículos médicos y guías clínicas antes de cualquier ajuste fino específico para una tarea.
El futuro del entrenamiento previo continuo frente al ajuste fino
El lanzamiento constante de modelos base abiertos y capaces ha hecho que el entrenamiento previo continuo sea práctico para más organizaciones, aunque todavía requiere datos y cómputo sustanciales. Las áreas de investigación activa incluyen la reducción del olvido, abaratamiento de la adaptación de dominios y la combinación de pesos de modelos entrenados por separado. En la práctica, muchos equipos seguirán combinando un ajuste fino ligero con la recuperación en lugar de un entrenamiento previo continuo completo, reservando la opción más pesada para dominios cuyo lenguaje está mal cubierto por los datos web generales.
Poniéndolo en práctica
Por qué es importante
- Costo y presupuesto. Las decisiones de arquitectura impulsan el rendimiento y los costos operativos durante años.
- Decisiones más claras. La educación técnica ayuda a los equipos a elegir la pila adecuada, no sólo la más nueva.
- control de calidad. Mejores opciones de ingeniería reducen los incidentes de confiabilidad en la producción.
cuidado con
- La optimización de un punto de referencia puede ocultar debilidades más amplias del sistema.
- Los costos de infraestructura y mantenimiento a menudo se subestiman.
- Las brechas de seguridad y observabilidad pueden crecer a medida que los sistemas se vuelven más complejos.
Próximos pasos
- Defina objetivos de latencia, calidad y costos antes de la implementación.
- Comparación en condiciones realistas de carga y datos.
- Monitoreo de instrumentos para detectar errores, deriva e impacto para el usuario.
- Prepare rutas de reversión y respuesta a incidentes antes de escalar.
Sigue explorando
Boletín gratuito
Recibe el resumen diario de IA
Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.
Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.
Ponte a prueba
Realiza el cuestionario de Entrenamiento Previo Continuo vs. Ajuste Fino
Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.
Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación
Preguntas frecuentes
¿Qué es el entrenamiento previo continuo vs. ajuste fino?
El entrenamiento previo continuo continúa entrenando un modelo base con el mismo objetivo del siguiente token en grandes cantidades de texto de dominio sin procesar, mientras que el ajuste fino se entrena en un conjunto curado más pequeño de ejemplos etiquetados, como pares de instrucciones y respuestas, para moldear el comportamiento. La elección importa porque el primero cambia principalmente lo que un modelo sabe sobre un dominio y su lenguaje, el segundo cambia principalmente cómo responde, y los datos y el cómputo necesarios difieren enormemente.
¿Cuál es la principal diferencia de datos entre el entrenamiento previo continuo y el ajuste fino supervisado?
El entrenamiento previo continuo predice los siguientes tokens en texto sin procesar, mientras que el ajuste fino aprende a partir de pares de indicaciones (prompts) y respuestas.
En el ajuste fino supervisado, ¿dónde se calcula normalmente la pérdida?
Ocultar el mensaje (prompt) significa que el modelo aprende qué producir dada una entrada, no a reproducir la entrada.
¿Qué es la reproducción (replay) en el entrenamiento previo continuo?
Incluir datos generales ayuda a evitar que las habilidades generales se degraden mientras el modelo aprende el dominio.
¿Cómo se construyó el código Llama?
Code Llama es un ejemplo de entrenamiento previo continuo, con algunas variantes entrenadas adicionalmente para Python e instrucciones.
Para hechos que cambian frecuentemente, ¿qué enfoque sugiere la guía que suele ser mejor que el ajuste fino?
El ajuste fino aprende nuevos hechos lentamente y puede aumentar las alucinaciones, por lo que la recuperación suele ser mejor para cambiar información.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.