A continuaciónSiguiente guía
El Marco de Gobernanza de Seguridad de IA TC260 de China
sociedad
GUÍA de sociedad
Marcos de seguridad de Frontier AI y políticas de escalamiento responsable
Un marco de seguridad de IA de vanguardia, como una política de escalamiento responsable, es un compromiso publicado por un laboratorio de IA para probar sus modelos en busca de capacidades peligrosas.
Escuche esta guíaNarrado por IA · ~3 min
En esta pagina4 minutos de lectura
Descripción general
Si un modelo cruza un umbral establecido, el laboratorio se compromete a agregar salvaguardias más sólidas, o a no implementarlo o no capacitarlo más hasta que esas salvaguardas estén implementadas. Estos marcos son importantes porque actualmente son la forma principal en que se gobiernan los modelos de IA más avanzados para riesgos catastróficos, aunque la mayoría de ellos son voluntarios y están escritos por los propios laboratorios.
Buceo profundo
Anthropic publicó la primera Política de escalamiento responsable en septiembre de 2023. Introdujo niveles de seguridad de IA (ASL), modelados libremente en niveles de bioseguridad, donde los niveles más altos requieren seguridad y salvaguardias de implementación más sólidas. Una versión posterior, en octubre de 2024, reformuló la política en términos de umbrales de capacidad y salvaguardias requeridas y describió el papel de un Oficial de Escalamiento Responsable. OpenAI lanzó su marco de preparación en versión beta en diciembre de 2023. Calificó el riesgo en categorías rastreadas, que originalmente incluían amenazas QBRN, ciberseguridad, persuasión y autonomía del modelo. Una revisión de 2025 lo reorganizó en torno a umbrales de capacidad Alta y Crítica y eliminó la persuasión como categoría de seguimiento. Google DeepMind publicó su Marco de seguridad Frontier en mayo de 2024 y lo ha revisado desde entonces. Define niveles de capacidad crítica (CCL) que desencadenan planes de respuesta. En la Cumbre de AI de Seúl en mayo de 2024, 16 empresas firmaron los Compromisos de seguridad de Frontier AI. Acordaron publicar marcos de seguridad, establecer umbrales para riesgos intolerables y no desarrollar ni implementar un modelo si sus riesgos no podían mantenerse por debajo de esos umbrales. Se publicaron muchos marcos antes de la Cumbre de Acción sobre IA de París en febrero de 2025. Los críticos señalan varias debilidades. Los laboratorios escriben sus propios umbrales y pueden revisarlos por su cuenta. Palabras como "elevación significativa" dejan margen a la interpretación. La verificación externa es limitada y la competencia comercial incentiva a los laboratorios a leer los resultados generosamente. Un error común es creer que estos marcos son leyes. La mayoría son voluntarios, aunque esto está cambiando. La SB 53 de California exige que los grandes desarrolladores de frontera publiquen dicho marco, y el Código de prácticas de IA de uso general de la UE, una ruta voluntaria para demostrar el cumplimiento de la Ley de IA, pide a los signatarios que adopten uno.
Implementación en el mundo real
Antes de su lanzamiento, un laboratorio prueba si un nuevo modelo brinda un estímulo significativo a alguien que intenta adquirir armas biológicas. Si cruza el umbral, el laboratorio agrega filtros de uso indebido y seguridad más estrictos antes de la implementación.
En mayo de 2025, Anthropic dijo que había activado el despliegue de ASL-3 y las protecciones de seguridad para Claude Opus 4 como medida de precaución, porque no podía descartar que el modelo hubiera alcanzado el umbral de capacidad relevante.
El Marco de Preparación de OpenAI dirige a un Grupo Asesor de Seguridad para revisar los informes de capacidad y asesorar a los líderes sobre si las salvaguardas son adecuadas antes de una liberación.
Un laboratorio que rastrea la replicación autónoma o la aceleración de la investigación de IA realiza evaluaciones agentes. Estos prueban si el modelo puede completar tareas largas de varios pasos sin ayuda humana.
El futuro de los marcos de seguridad de la IA de frontera y las políticas de escalamiento responsable
Los marcos están pasando de promesas voluntarias a expectativas regulatorias. California ahora exige que los grandes promotores fronterizos los publiquen, el Código de Prácticas de la UE pide a los signatarios que los adopten, y es posible que le sigan más jurisdicciones. Las preguntas abiertas incluyen quién audita el cumplimiento, cómo se estandarizan los umbrales en los laboratorios y si las evaluaciones pueden mantenerse al día con los sistemas agentes que mejoran rápidamente. Los organismos de pruebas independientes, incluidos los institutos gubernamentales de IA, pueden asumir un papel más importante en la verificación de las afirmaciones de los laboratorios. La tensión central probablemente persistirá: los laboratorios diseñan las reglas por las que son juzgados, lo que hace que la transparencia y el escrutinio externo sean importantes.
Poniéndolo en práctica
Por qué es importante
- Riesgo y seguridad. Los daños catastróficos y cotidianos de la IA dependen de quién comprende los riesgos y quién puede actuar.
- Decisiones más claras. La alfabetización pública y profesional determina si es políticamente posible una política de seguridad sólida.
- Cortando el bombo. Las explicaciones claras reducen la captación por la exageración, las relaciones públicas de laboratorio y el vago teatro de ética.
cuidado con
- Tratar el riesgo existencial como ciencia ficción mientras que la capacidad se agrava.
- Confundir la seguridad del producto superficial con la alineación en condiciones de alta autonomía.
- Dejando a las audiencias que no hablan inglés ni a expertos solo con fuentes de baja calidad.
Próximos pasos
- Separe los riesgos de daños al producto, mal uso y pérdida de control/desalineación.
- Pregunte qué evidencia cambiaría su opinión sobre los plazos y la gravedad.
- Prefiera fuentes primarias y evaluaciones concretas a afirmaciones de marketing.
- Identifique un camino de acción: carrera, política, financiamiento o habilidades, no solo concientización.
Sigue explorando
Boletín gratuito
Recibe el resumen diario de IA
Tres noticias verificadas sobre IA cada mañana de lunes a viernes, explicadas con claridad. Gratis para siempre y sin anuncios.
Un correo cada día laborable. Date de baja con un clic. Nunca vendemos ni compartimos tu dirección.
Ponte a prueba
Take the Frontier AI Safety Frameworks and Responsible Scaling Policies quiz
Corrección inmediata en cada respuesta y un certificado para compartir, con un ID verificable, cuando apruebas un curso.
Apoya la educación gratuita sobre IA. AI Understanding es una organización sin fines de lucro 501(c)(3): sin anuncios ni muros de pago, nunca. Hacer una donación
Preguntas frecuentes
¿Qué son los marcos de seguridad y las políticas de escalamiento responsable de Frontier AI?
Un marco de seguridad de IA de vanguardia, como una política de escalamiento responsable, es un compromiso publicado por un laboratorio de IA para probar sus modelos en busca de capacidades peligrosas. Si un modelo cruza un umbral establecido, el laboratorio se compromete a agregar salvaguardias más sólidas, o a no implementarlo o no capacitarlo más hasta que esas salvaguardas estén implementadas. Estos marcos son importantes porque actualmente son la forma principal en que se gobiernan los modelos de IA más avanzados para riesgos catastróficos, aunque la mayoría de ellos son voluntarios y están escritos por los propios laboratorios.
¿Cuál es la lógica básica de una política de escalamiento responsable?
Estos marcos se basan en compromisos condicionales que vinculan los umbrales de capacidad con las salvaguardas requeridas.
¿Qué empresa introdujo los niveles de seguridad de IA (ASL)?
La Política de Escalamiento Responsable de septiembre de 2023 de Anthropic introdujo ASL, modeladas libremente en función de los niveles de bioseguridad.
¿Cómo llama Google DeepMind a los umbrales en su Marco de Seguridad Fronteriza?
DeepMind utiliza niveles de capacidad crítica (CCL), que activan planes de respuesta cuando se alcanzan.
¿Qué acordaron las empresas en la Cumbre de IA de Seúl en mayo de 2024?
Los Compromisos de seguridad de Frontier AI fueron compromisos voluntarios de publicar marcos y de no proceder si los riesgos no podían mantenerse por debajo de los umbrales.
¿Qué categoría dejó la revisión del Marco de Preparación 2025 de OpenAI como categoría rastreada?
La revisión reorganizó el marco en torno a umbrales altos y críticos y eliminó la persuasión como categoría de seguimiento.
sigue aprendiendo
Guías relacionadas
Más guías seleccionadas para este tema.