A continuaciónSiguiente guía
Chatbots de IA, niños y leyes de seguridad en línea
sociedad
GUÍA de sociedad
Institutos de seguridad de IA en todo el mundo
Los institutos de seguridad de IA son organismos gubernamentales que prueban y estudian modelos avanzados de IA.
En esta pagina3 minutos de lectura
Descripción general
Se centran en riesgos como los ciberataques, el uso indebido de sustancias químicas y biológicas y la pérdida de control humano, y a menudo evalúan los modelos antes de su publicación. Importan porque brindan a los gobiernos experiencia técnica independiente en IA de vanguardia, aunque la mayoría depende de la cooperación voluntaria de las empresas más que de poderes legales.
Buceo profundo
El Reino Unido creó su Instituto de Seguridad de la IA en noviembre de 2023, en torno a la Cumbre de Seguridad de la IA de Bletchley Park. Surgió del Frontier AI Taskforce y se convirtió en uno de los equipos gubernamentales de evaluación de IA mejor financiados, contratando investigadores de laboratorios líderes. En febrero de 2025 pasó a llamarse AI Security Institute. El nuevo nombre reflejaba un enfoque más limitado a los daños a la seguridad nacional, como el uso indebido del ciberespacio, los riesgos químicos y biológicos y la delincuencia, en lugar de cuestiones más amplias como los prejuicios. El Instituto de Seguridad de la IA de EE. UU. se creó dentro del NIST a finales de 2023, tras la orden ejecutiva del presidente Biden sobre la IA. En junio de 2025, el Departamento de Comercio lo reorganizó como Centro de Innovación y Estándares de IA (CAISI). El mandato cambió hacia estándares voluntarios, evaluaciones relevantes para la seguridad nacional y evaluación de sistemas de inteligencia artificial extranjeros, al tiempo que abandonó la marca de "seguridad". Japón, Singapur, Canadá, Corea del Sur, Francia y otros han creado organismos similares. La Oficina de IA de la UE tiene algunas funciones paralelas, pero es un regulador. En noviembre de 2024, la Red Internacional de Institutos de Seguridad de IA celebró su primera reunión en San Francisco. Sus miembros fundadores fueron Australia, Canadá, la UE, Francia, Japón, Kenia, Corea del Sur, Singapur, el Reino Unido y Estados Unidos. Un error común es pensar que estos institutos pueden bloquear la liberación de modelos. Los organismos del Reino Unido y Estados Unidos no tienen poder legal general para obligar el acceso o detener el despliegue. Su acceso proviene de acuerdos voluntarios y sus hallazgos dan forma a las políticas y decisiones de las empresas sin ser vinculantes. La Oficina de IA de la UE es diferente: en virtud de la Ley de IA, puede solicitar información a proveedores de modelos de IA de uso general con riesgo sistémico y hacerles cumplir obligaciones.
Impacto Estratégico
Riesgo y seguridad
Los daños catastróficos y cotidianos de la IA dependen de quién comprende los riesgos y quién puede actuar.
Decisiones más claras
La alfabetización pública y profesional determina si es políticamente posible una política de seguridad sólida.
Cortando el bombo
Las explicaciones claras reducen la captación por la exageración, las relaciones públicas de laboratorio y el vago teatro de ética.
El futuro de los institutos de seguridad de IA en todo el mundo
El papel de los institutos todavía está cambiando. Varios han pasado de una investigación amplia sobre seguridad a la seguridad nacional, las normas y la competitividad industrial, y sus prioridades pueden seguir cambiando con los gobiernos. Las preguntas clave abiertas son si alguno de ellos obtendrá poderes legales, cómo se conectará su trabajo con reguladores como la Oficina de IA de la UE y si la colaboración internacional se profundizará o se dividirá según líneas geopolíticas. Su valor a largo plazo puede depender de métodos de evaluación compartidos y reproducibles y de financiación suficiente para mantenerse al día con los laboratorios de vanguardia.
Implementación en el mundo real
Los institutos del Reino Unido y EE. UU. probaron conjuntamente un Sonnet Claude 3.5 actualizado y el o1 de OpenAI antes de su implementación y publicaron resúmenes de los resultados a fines de 2024.
El instituto del Reino Unido lanzó Inspect, un marco de código abierto que los investigadores y otros gobiernos utilizan para crear y ejecutar evaluaciones de IA.
En 2024, el instituto estadounidense firmó acuerdos con OpenAI y Anthropic que le dieron acceso a importantes modelos nuevos antes y después del lanzamiento público.
Institutos de varios países han realizado ejercicios de prueba conjuntos para comparar métodos, por ejemplo evaluando el comportamiento de los agentes en diferentes idiomas.
Riesgos y barandillas
Tratar el riesgo existencial como ciencia ficción mientras que la capacidad se agrava.
Confundir la seguridad del producto superficial con la alineación en condiciones de alta autonomía.
Dejando a las audiencias que no hablan inglés ni a expertos solo con fuentes de baja calidad.
Hoja de ruta de implementación
Separe los riesgos de daños al producto, mal uso y pérdida de control/desalineación.
Pregunte qué evidencia cambiaría su opinión sobre los plazos y la gravedad.
Prefiera fuentes primarias y evaluaciones concretas a afirmaciones de marketing.
Identifique un camino de acción: carrera, política, financiamiento o habilidades, no solo concientización.
Sigue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the AI Safety Institutes Around the World quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Preguntas frecuentes
¿Qué son los institutos de seguridad de IA en todo el mundo?
Los institutos de seguridad de IA son organismos gubernamentales que prueban y estudian modelos avanzados de IA. Se centran en riesgos como los ciberataques, el uso indebido de sustancias químicas y biológicas y la pérdida de control humano, y a menudo evalúan los modelos antes de su publicación. Importan porque brindan a los gobiernos experiencia técnica independiente en IA de vanguardia, aunque la mayoría depende de la cooperación voluntaria de las empresas más que de poderes legales.
¿Cómo cambió el nombre del Instituto de Seguridad de IA del Reino Unido en febrero de 2025?
El nuevo nombre, AI Security Institute, reflejaba un enfoque más limitado a los riesgos para la seguridad nacional, como el uso indebido cibernético, químico y biológico y la delincuencia.
¿En qué organismo se reorganizó el Instituto de Seguridad de IA de EE. UU. en 2025?
El Departamento de Comercio lo convirtió en CAISI, que se centra en estándares, evaluaciones de seguridad nacional y evaluación de sistemas extranjeros.
¿Dónde celebró su primera reunión la Red Internacional de Institutos de Seguridad de la IA?
La primera reunión se celebró en San Francisco en noviembre de 2024.
¿Qué poder legal tienen generalmente los institutos del Reino Unido y Estados Unidos sobre las autorizaciones de modelos?
Su acceso proviene de acuerdos voluntarios y sus conclusiones son más consultivas que vinculantes.
¿Qué es inspeccionar?
Inspect organiza las evaluaciones en conjuntos de datos, solucionadores y puntuadores, y admite pruebas de agentes en espacio aislado.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.