Seguridad rápida de IA

Separa la tarea autorizada del usuario del contenido que se está procesando. Un documento puede contener legítimamente instrucciones como parte de su asunto. Esas palabras no deben controlar automáticamente las herramientas del asistente, el acceso a la cuenta o la política de respuesta. Mantén los privilegios limitados. Una tarea de resumen generalmente no requiere acceso o permiso sin restricciones para enviar mensajes. Aplica esos límites en la aplicación para que un error del modelo no pueda crear silenciosamente una capacidad más amplia. Valida las salidas y acciones consecuentes contra la solicitud original. Comprueba el destino, los registros afectados, los datos transmitidos y la aprobación requerida. Una página externa que afirme que el usuario ha aprobado algo no es equivalente a una instrucción real del usuario. Construye casos de regresión que varíen la ubicación y formato de instrucciones no confiables. Prueba entradas directas, pasajes recuperados y resultados de herramientas en un entorno controlado. Revisa si la aplicación preserva el rendimiento útil de la tarea mientras resiste la redirección. Evita afirmaciones de un filtro infalible de inyección de prompts; controles en capas y pruebas continuas son más creíbles.