Seguridad de la IA

Identifique qué necesita protección: entradas privadas, datos de entrenamiento, artefactos de modelo, credenciales, cuentas conectadas y acciones externas. Registre quién puede influir en cada entrada y qué podría ganar un atacante si falla. Un chatbot público y un agente interno con acceso de escritura tienen diferentes modelos de amenaza. Las amenazas pueden afectar diferentes etapas. El material de capacitación envenenado puede alterar el comportamiento aprendido; las aportaciones adversas pueden manipular las predicciones; El contenido recuperado que no es de confianza puede redirigir una aplicación que utiliza una herramienta. La salida del modelo también puede volverse peligrosa cuando se inserta en una consulta de base de datos, una página web o un comando sin el manejo adecuado. Aplicar controles en el límite del software. Haga cumplir la autorización en el código, mantenga los secretos fuera del contexto visible del modelo siempre que sea posible, restrinja el alcance de la herramienta y valide los resultados antes de su uso. Un mensaje que le pide a un modelo que se comporte de manera segura no puede reemplazar el aislamiento de la cuenta o las comprobaciones de permisos. Pruebe rutas de falla representativas en un entorno autorizado y mantenga un proceso de incidentes. Registre suficiente información para investigar sin recopilar contenido confidencial innecesario. Evalúe los controles después de cambios en el modelo, fuentes de recuperación, herramientas y dependencias. Describir honestamente el riesgo residual; ningún filtro por sí solo establece una protección completa.