Agentes que utilizan computadoras
Los agentes que utilizan computadoras operan una computadora de la misma manera que lo hace una persona: viendo la pantalla, moviendo el cursor, haciendo clic y escribiendo.
Descripción general
This lets AI use any software with a graphical interface, even apps with no API.
Buceo profundo
Un agente que utiliza una computadora (CUA) controla un escritorio real o virtual a través de su pantalla y dispositivos de entrada en lugar de a través de API a nivel de código. El modelo recibe capturas de pantalla de la pantalla, razones sobre lo que ve y genera acciones de bajo nivel como "hacer clic en la coordenada (412, 230)", "escribir este texto" o "desplazarse hacia abajo". Este ciclo de percepción-acción se repite: actúa, captura una nueva captura de pantalla, decide el siguiente movimiento. Debido a que funciona a nivel de píxeles y pulsaciones de teclas, una CUA puede controlar navegadores web, completar formularios, navegar por menús y utilizar aplicaciones heredadas que no exponen ninguna interfaz programática. Los ejemplos incluyen el uso de la computadora Claude de Anthropic y el operador de OpenAI. Las desventajas son reales: la lectura de la pantalla puede ser lenta, los clics pueden fallar y darle a un agente el control de una máquina genera preocupaciones de seguridad, por lo que la mayoría se ejecuta en entornos de espacio aislado o supervisados.
Información técnica
El agente recibe una captura de pantalla más la tarea, y un modelo con capacidad de visión relaciona los elementos (botones, campos) en coordenadas de píxeles. Emite una acción estructurada que ejecuta una capa de automatización contra el sistema operativo o el navegador. Después de cada acción, una nueva captura de pantalla cierra el ciclo, por lo que el agente percibe la consecuencia antes de volver a actuar. La confiabilidad depende en gran medida de una base visual precisa y de la lógica de reintento o verificación cuando un clic llega al elemento incorrecto.
Impacto Estratégico
Construir opciones
El diseño a nivel de aplicación determina si la IA mejora los resultados reales.
Equipo y flujo de trabajo
Una buena integración del flujo de trabajo genera ganancias de productividad en las que los usuarios pueden confiar.
Riesgo y seguridad
Los casos de uso bien definidos reducen la fatiga del cambio y el riesgo de implementación.
El futuro de los agentes que utilizan computadoras
La precisión y la velocidad mejorarán a medida que los modelos mejoren la conexión a tierra de los elementos de la interfaz de usuario y que algunas interacciones cambien a árboles de accesibilidad más rápidos en lugar de píxeles sin formato. Espere barreras de seguridad más sólidas: mensajes de confirmación antes de acciones riesgosas, entornos limitados de pruebas y registros de auditoría. Los puntos de referencia estándar para tareas web y de escritorio están madurando, lo que impulsa un progreso mensurable. A más largo plazo, las CUA pueden combinar el control de píxeles con llamadas API directas, utilizando la que sea más confiable por aplicación, manteniendo al mismo tiempo un paso de aprobación humana para operaciones sensibles como los pagos.
Implementación en el mundo real
Un agente que reserva un restaurante abriendo un navegador, navegando por el sitio de reservas, eligiendo una hora e ingresando datos de contacto.
Automatizar informes de gastos leyendo recibos en la pantalla y escribiendo valores en una aplicación de contabilidad de escritorio que no tiene API.
Pruebas de control de calidad en las que el agente hace clic en el flujo de registro de una aplicación web para confirmar que cada botón y formulario funciona.
Llenar formularios web repetitivos del gobierno o de seguros leyendo la etiqueta de cada campo y escribiendo la información correcta.
Riesgos y barandillas
Automatizar un proceso roto puede amplificar los problemas existentes.
Los equipos pueden automatizar demasiado y eliminar el juicio humano necesario.
La calidad puede variar si los resultados no se evalúan continuamente.
Hoja de ruta de implementación
Mapee el flujo de trabajo actual e identifique el paso de mayor fricción.
Defina puntos de control humanos antes de la automatización total.
Capacite a los usuarios sobre indicaciones, rutas de escalada y estándares de calidad.
Realice un seguimiento de los resultados a nivel de tarea para confirmar el valor sostenido.
Sigue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Computer-Using Agents quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Siguiente guía
Agentes de reflexión y autocorrección
Preguntas frecuentes
What is Computer-Using Agents?
Los agentes que utilizan computadoras operan una computadora de la misma manera que lo hace una persona: viendo la pantalla, moviendo el cursor, haciendo clic y escribiendo. Esto permite a la IA utilizar cualquier software con una interfaz gráfica, incluso aplicaciones sin API.
¿Cómo interactúa principalmente un agente que utiliza una computadora con el software?
Una CUA percibe capturas de pantalla y emite acciones de entrada similares a las de los humanos, como clics y pulsaciones de teclas.
¿Cuál es la principal ventaja de operar a nivel de píxeles y pulsaciones de teclas?
Debido a que actúa como un usuario humano, una CUA puede impulsar aplicaciones heredadas o sin API.
¿Qué recibe el agente para decidir su próxima acción?
Después de cada acción, el agente realiza una nueva captura de pantalla, formando un bucle de percepción-acción.
¿Cuál de estos es un ejemplo real de un producto agente que utiliza una computadora?
Claude el uso de la computadora y el Operador de OpenAI son agentes de uso de computadoras bien conocidos.
¿Por qué los agentes que utilizan computadoras a menudo se ejecutan en entornos aislados?
Otorgar a un agente el control de una computadora real conlleva riesgos, por lo que el aislamiento y la supervisión reducen los daños potenciales.