Cuestionario vinculado a una guía · Medio Nivel
Prueba de barandillas del agente
Evalúe los filtros de entrada y salida, las herramientas con privilegios mínimos, el equipo rojo, el monitoreo del NIST y los límites de los controles de seguridad.
Pregunta 1 de 8
¿Cuál es el objetivo principal de las barreras de protección de agentes?
Vista previa de cada pregunta8 preguntas
Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.
- ¿Cuál es el objetivo principal de las barreras de protección de agentes?
- Para restringir lo que un agente puede hacer, decir o acceder por razones de seguridad y cumplimiento.
- Para hacer que los agentes respondan más lentamente
- Para aumentar el vocabulario del agente.
- Reemplazar el modelo subyacente por completo
- ¿Qué hace normalmente una 'barandilla de salida'?
- Detecta únicamente mensajes de usuario entrantes
- Comprueba las respuestas del agente en busca de contenido tóxico, falso o que no cumpla con las normas antes de la entrega.
- Acelera el entrenamiento del modelo.
- Otorga al agente más acceso a las herramientas
- ¿Cómo se aplica el "principio de privilegio mínimo" a las barreras de acción?
- El agente recibe todos los permisos posibles.
- El agente no debe pedir permiso para nada.
- El agente solo obtiene herramientas, claves y límites de alcance limitado que necesita.
- El agente recibe acceso de administrador para mayor comodidad.
- ¿Para qué se utiliza un modelo de 'juez' o validador en las barandillas?
- Generar las principales respuestas del agente.
- Para almacenar contraseñas de usuario
- Para traducir idiomas solamente
- Para calificar o verificar los resultados del agente para garantizar su seguridad o precisión.
- ¿Por qué es importante probar barreras contra aportes adversarios?
- Debido a que los atacantes intentan hacer jailbreak, se deben investigar las barreras de seguridad en lugar de confiar ciegamente en ellas.
- Hace que el agente sea más lento a propósito.
- Elimina la necesidad de reglas.
- Garantiza que el modelo nunca comete errores.
- ¿Qué ejemplo muestra una barrera de acción eficaz?
- Un agente de compras sin límite de gasto
- Un agente de compras con un límite estricto de $100 por transacción aplicado fuera del modelo
- Un agente que puede ejecutar cualquier comando que quiera.
- Un agente que ignora todos los permisos.
- What does NIST’s Generative AI Profile say content filters can do?
- Guarantee that all false or harmful content is removed
- Verify that every generated answer is factually correct
- Use rule-based or machine-learning methods to flag problematic inputs and outputs
- Replace all post-deployment monitoring
- What can a NIST post-deployment monitoring plan include for generative AI?
- A guarantee that all outputs will be safe
- A replacement for pre-deployment testing
- An instruction to ignore user-reported issues
- Mechanisms to capture user input and support appeal, override, incident response, and updates