Vectores de funciones y representaciones de tareas
Los vectores de funciones son direcciones compactas dentro de los estados ocultos de un modelo de lenguaje que codifican una tarea completa, como "traducir al francés" o "devolver el antónimo". Revelan que los modelos comprimen una tarea demostrada en una señal interna portátil que se puede extraer y reinyectar.
Buceo profundo
Cuando le das a un modelo algunos ejemplos en contexto, de alguna manera infiere la tarea y la aplica a una nueva entrada. La investigación de vectores de funciones muestra que esta tarea inferida es capturada en parte por un único vector que vive en el espacio de activación del modelo. Los investigadores identifican un pequeño conjunto de cabezas de atención que, en muchas tareas, transportan información sobre la identidad de la tarea. Al promediar sus resultados sobre indicaciones de ejemplo se obtiene un vector de función. Sorprendentemente, agregar ese vector a los estados ocultos durante un nuevo mensaje de disparo cero puede hacer que el modelo realice la tarea sin ver ningún ejemplo. Esta es una fuerte evidencia de que los modelos crean representaciones de tareas abstractas y reutilizables en lugar de simplemente textos superficiales que coinciden con patrones, y se conecta con un trabajo más amplio sobre dirección e interpretabilidad.
Información técnica
El método se basa en el análisis de mediación causal. Los investigadores ejecutan el modelo en muchas demostraciones de una tarea, identifican cabezas de atención cuyas salidas llevan causalmente la identidad de la tarea y promedian esas salidas de cabeza para formar el vector de función. Inyectado en una capa particular, el vector desplaza el cálculo posterior hacia la ejecución de la tarea. Fundamentalmente, los vectores de funciones muestran cierto transporte: un vector extraído de un contexto rápido puede desencadenar la tarea en contextos no relacionados.
Impacto Estratégico
Speed and scale
Los flujos de trabajo lingüísticos pueden avanzar más rápido sin sacrificar la coherencia.
Access and reach
Amplía el acceso a través de idiomas y estilos de comunicación.
Decisiones más claras
Los equipos pueden dedicar más tiempo a juzgar mientras la automatización se encarga de la repetición.
El futuro de los vectores de funciones y las representaciones de tareas
Los vectores de funciones apuntan hacia una dirección controlable y transparente: en lugar de crear indicaciones, puede mantener una biblioteca de vectores de tareas y cambiar comportamientos mediante sumas. Podrían permitir la adaptación de tareas livianas sin ajustes finos, auditorías de seguridad al inspeccionar qué tarea ha "decidido" ejecutar un modelo y composición de múltiples tareas mediante la combinación de vectores. Espere una integración más estrecha con herramientas de interpretabilidad y métodos de dirección de activación a medida que los investigadores mapeen cuán abstractas son realmente estas representaciones.
Implementación en el mundo real
Activar una tarea como "enumerar la capital" en un mensaje de disparo cero inyectando un vector extraído de ejemplos anteriores de pocos disparos.
Auditar el comportamiento del modelo comprobando qué vector de tareas está activo para detectar cuando un modelo cambia silenciosamente de objetivos.
Creación de una biblioteca reutilizable de instrucciones de tareas para que las aplicaciones cambien funciones sumando en lugar de volver a solicitarlas.
Estudiar la composición agregando dos vectores de funciones para ver si el modelo puede encadenar operaciones como "traducir y luego mayúsculas".
Riesgos y barandillas
Los hechos alucinados pueden aparecer silenciosamente en informes, flujos de apoyo o resultados de investigaciones.
La sensibilidad rápida puede crear resultados inconsistentes en solicitudes similares.
Los datos de texto confidenciales pueden quedar expuestos si los controles de acceso son débiles.
Hoja de ruta de implementación
Defina el formato de salida, el tono y los estándares de calidad antes del lanzamiento.
Respuestas terrestres con fuentes confiables siempre que la precisión sea importante.
Mantenga un punto de control de revisión humana para los resultados de alto riesgo.
Realice un seguimiento de los patrones de error y vuelva a capacitar las indicaciones o los flujos de trabajo con regularidad.
Sigue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Function Vectors and Task Representations quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Siguiente guía
Vectores globales del guante
Preguntas frecuentes
What is Function Vectors and Task Representations?
Los vectores de funciones son direcciones compactas dentro de los estados ocultos de un modelo de lenguaje que codifican una tarea completa, como "traducir al francés" o "devolver el antónimo". Revelan que los modelos comprimen una tarea demostrada en una señal interna portátil que se puede extraer y reinyectar.
¿Qué codifica principalmente un vector de función dentro de un modelo de lenguaje?
Un vector de función es una dirección compacta en el espacio de activación que captura la identidad de una tarea completa que el modelo ha inferido a partir de demostraciones.
¿Cómo se construye normalmente un vector de función?
Los investigadores localizan cabezas de atención que causalmente tienen una identidad de tarea y promedian sus resultados en las demostraciones para formar el vector.
¿Qué cosa sorprendente sucede cuando inyectas un vector de función en un mensaje de disparo cero?
Agregar el vector a los estados ocultos puede hacer que el modelo ejecute la tarea codificada incluso sin ejemplos presentes en contexto.
¿Qué técnica de análisis sustenta la búsqueda de las cabezas que llevan un vector de función?
El análisis de mediación causal identifica qué salidas de la cabeza de atención determinan causalmente la identidad de la tarea, aislando las cabezas relevantes.
¿Qué afirmación más amplia sobre los modelos de lenguaje respaldan los vectores de funciones?
La existencia de vectores de tareas portátiles sugiere que los modelos forman representaciones abstractas y reutilizables de operaciones en lugar de pura coincidencia de superficies.