Alineación de IA

La alineación no es lo mismo que la "ética de la IA" en el sentido amplio. La ética pregunta qué valores debe perseguir una sociedad; La alineación pregunta si un poderoso sistema de IA realmente perseguirá los objetivos que especificamos y si esos objetivos se mantendrán estables a medida que crezca la capacidad. Los modos de falla clásicos incluyen el juego de especificaciones (optimizar una métrica proxy), la especificación errónea de objetivos (escribimos el objetivo equivocado) y la convergencia instrumental (sistemas que buscan poder, recursos o autoconservación porque ayudan a casi cualquier objetivo final). Los laboratorios modernos ya se enfrentan a versiones más leves de estos fallos: chatbots que adulan a los usuarios, agentes que explotan lagunas en las funciones de puntuación y modelos que juegan con los puntos de referencia. La pregunta abierta es si los métodos de alineación actuales (RLHF, IA constitucional, debate, interpretabilidad, técnicas de control) se adaptan a sistemas que pueden planificar, engañar o actuar con menos supervisión humana. Es por eso que la investigación de alineación se encuentra en el centro de los debates existenciales sobre los riesgos de la IA: si los sistemas altamente capaces están desalineados, los procesos ordinarios de seguridad de los productos pueden no ser suficientes.