Aprendizaje en contexto
El aprendizaje en contexto es la sorprendente capacidad de los grandes modelos lingüísticos para realizar una nueva tarea a partir de unos pocos ejemplos colocados en el mensaje, sin ningún reentrenamiento.
Descripción general
It is the reason you can 'teach' a model on the fly just by showing it what you want.
Buceo profundo
Normalmente, enseñarle una nueva tarea a una red neuronal significa actualizar sus pesos mediante entrenamiento. El aprendizaje en contexto es diferente: usted escribe algunos ejemplos directamente en el mensaje (el 'contexto') y el modelo infiere el patrón y lo aplica a una nueva entrada. Nada dentro del modelo cambia; los ejemplos simplemente dirigen la predicción del siguiente token. Escuchará "zero-shot" (solo instrucciones), "one-shot" (un ejemplo) y "pocos disparos" (varios ejemplos). Este comportamiento fue popularizado por GPT-3 en 2020 y resultó ser una habilidad emergente: los modelos pequeños no pueden hacerlo, pero más allá de una escala de aproximadamente 100 mil millones de parámetros, la precisión en indicaciones de unos pocos disparos aumenta drásticamente. El modelo aprendió efectivamente a reconocer y continuar patrones durante el entrenamiento previo, por lo que puede reutilizar esa habilidad en el momento de la inferencia.
Información técnica
La investigación sobre la interpretabilidad atribuyó gran parte de esta capacidad a los 'cabezales de inducción': circuitos de atención que emergen durante el entrenamiento y realizan una coincidencia difusa de prefijos: escanean hacia atrás en busca de dónde apareció una ficha similar y luego copian lo que le siguió. Entonces, cuando el mensaje muestra 'manzana -> fruta, zanahoria -> verdura', el modelo coincide con la estructura y predice la etiqueta correcta para el siguiente elemento. Fundamentalmente, no fluyen gradientes ni se actualizan pesos en la inferencia. Los ejemplos simplemente remodelan las activaciones que alimentan la distribución de probabilidad del siguiente token.
Impacto Estratégico
Speed and scale
Los flujos de trabajo lingüísticos pueden avanzar más rápido sin sacrificar la coherencia.
Access and reach
Amplía el acceso a través de idiomas y estilos de comunicación.
Decisiones más claras
Los equipos pueden dedicar más tiempo a juzgar mientras la automatización se encarga de la repetición.
El futuro del aprendizaje en contexto
Las ventanas de contexto en expansión (ahora cientos de miles de tokens) impulsan el aprendizaje en contexto hacia regímenes de "varios disparos", donde docenas o cientos de ejemplos pueden rivalizar con el ajuste fino de algunas tareas, sin costo de capacitación. Espere una integración más estrecha con la recuperación, de modo que los ejemplos relevantes se obtengan automáticamente y una mejor teoría sobre cuándo el aprendizaje en contexto falla o se distrae. Seguirá siendo la forma rápida y económica de adaptar un modelo, complementando, no reemplazando, el ajuste para tareas estables y de gran volumen.
Implementación en el mundo real
Darle a un chatbot tres tickets de soporte de ejemplo y sus categorías, y luego hacer que clasifique un ticket nuevo de la misma manera.
Mostrando un modelo dos pares de texto desordenado antes/después reformateados en JSON limpio para convertir el resto
Pegar un par de descripciones de productos de muestra en el tono de su marca para que las nuevas combinen con el estilo.
Demostrar un complicado problema matemático resuelto paso a paso para que el modelo resuelva problemas similares con el mismo formato de razonamiento.
Riesgos y barandillas
Los hechos alucinados pueden aparecer silenciosamente en informes, flujos de apoyo o resultados de investigaciones.
La sensibilidad rápida puede crear resultados inconsistentes en solicitudes similares.
Los datos de texto confidenciales pueden quedar expuestos si los controles de acceso son débiles.
Hoja de ruta de implementación
Defina el formato de salida, el tono y los estándares de calidad antes del lanzamiento.
Respuestas terrestres con fuentes confiables siempre que la precisión sea importante.
Mantenga un punto de control de revisión humana para los resultados de alto riesgo.
Realice un seguimiento de los patrones de error y vuelva a capacitar las indicaciones o los flujos de trabajo con regularidad.
Sigue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the In-Context Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Siguiente guía
Ventanas de contexto
Preguntas frecuentes
What is In-Context Learning?
El aprendizaje en contexto es la sorprendente capacidad de los grandes modelos lingüísticos para realizar una nueva tarea a partir de unos pocos ejemplos colocados en el mensaje, sin ningún reentrenamiento. Es la razón por la que puedes "enseñar" a un modelo sobre la marcha simplemente mostrándole lo que quieres.
¿Qué cambia fundamentalmente dentro del modelo durante el aprendizaje en contexto?
El aprendizaje en contexto ocurre enteramente por inferencia. Los ejemplos del mensaje dan forma a las activaciones del modelo y las predicciones del siguiente token, pero no se actualizan ponderaciones.
¿Por qué se describe el aprendizaje en contexto como una habilidad "emergente"?
La capacidad es débil o inexistente en los modelos pequeños y aumenta abruptamente una vez que los modelos alcanzan una escala muy grande, por lo que se le llama emergente.
¿Qué mecanismo interno está más asociado con el aprendizaje en contexto en los transformadores?
El trabajo de interpretabilidad identificó cabezas de inducción (circuitos de atención que encuentran dónde apareció un token similar y copian lo que vino a continuación) como un impulsor central del aprendizaje en contexto.