Cuestionario vinculado a una guía · Medio Nivel

Prueba de barandillas del agente

Evalúe los filtros de entrada y salida, las herramientas con privilegios mínimos, el equipo rojo, el monitoreo del NIST y los límites de los controles de seguridad.

Rutas de guía relacionadasBarandillas de agentes
Pregunta 1 de 8

¿Cuál es el objetivo principal de las barreras de protección de agentes?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Cuál es el objetivo principal de las barreras de protección de agentes?
    • Para restringir lo que un agente puede hacer, decir o acceder por razones de seguridad y cumplimiento.
    • Para hacer que los agentes respondan más lentamente
    • Para aumentar el vocabulario del agente.
    • Reemplazar el modelo subyacente por completo
  2. ¿Qué hace normalmente una 'barandilla de salida'?
    • Detecta únicamente mensajes de usuario entrantes
    • Comprueba las respuestas del agente en busca de contenido tóxico, falso o que no cumpla con las normas antes de la entrega.
    • Acelera el entrenamiento del modelo.
    • Otorga al agente más acceso a las herramientas
  3. ¿Cómo se aplica el "principio de privilegio mínimo" a las barreras de acción?
    • El agente recibe todos los permisos posibles.
    • El agente no debe pedir permiso para nada.
    • El agente solo obtiene herramientas, claves y límites de alcance limitado que necesita.
    • El agente recibe acceso de administrador para mayor comodidad.
  4. ¿Para qué se utiliza un modelo de 'juez' o validador en las barandillas?
    • Generar las principales respuestas del agente.
    • Para almacenar contraseñas de usuario
    • Para traducir idiomas solamente
    • Para calificar o verificar los resultados del agente para garantizar su seguridad o precisión.
  5. ¿Por qué es importante probar barreras contra aportes adversarios?
    • Debido a que los atacantes intentan hacer jailbreak, se deben investigar las barreras de seguridad en lugar de confiar ciegamente en ellas.
    • Hace que el agente sea más lento a propósito.
    • Elimina la necesidad de reglas.
    • Garantiza que el modelo nunca comete errores.
  6. ¿Qué ejemplo muestra una barrera de acción eficaz?
    • Un agente de compras sin límite de gasto
    • Un agente de compras con un límite estricto de $100 por transacción aplicado fuera del modelo
    • Un agente que puede ejecutar cualquier comando que quiera.
    • Un agente que ignora todos los permisos.
  7. What does NIST’s Generative AI Profile say content filters can do?
    • Guarantee that all false or harmful content is removed
    • Verify that every generated answer is factually correct
    • Use rule-based or machine-learning methods to flag problematic inputs and outputs
    • Replace all post-deployment monitoring
  8. What can a NIST post-deployment monitoring plan include for generative AI?
    • A guarantee that all outputs will be safe
    • A replacement for pre-deployment testing
    • An instruction to ignore user-reported issues
    • Mechanisms to capture user input and support appeal, override, incident response, and updates