计算机使用代理
使用计算机的代理以人的方式操作计算机：查看屏幕、移动光标、单击和打字。
概述
This lets AI use any software with a graphical interface, even apps with no API.
深入探讨
计算机使用代理 (CUA) 通过屏幕和输入设备而不是通过代码级 API 控制真实或虚拟桌面。该模型接收显示的屏幕截图，解释所看到的内容，并输出低级操作，例如“单击坐标 (412, 230)”、“键入此文本”或“向下滚动”。这种感知-行动循环不断重复：行动、捕捉新的屏幕截图、决定下一步行动。由于 CUA 在像素和击键级别工作，因此可以驱动 Web 浏览器、填写表单、导航菜单以及使用不公开编程接口的遗留应用程序。示例包括 Anthropic 的 Claude 计算机使用和 OpenAI 的操作员。权衡是真实的：屏幕读取速度可能很慢，点击可能会错过，并且让代理控制机器会引起安全问题，因此大多数都在沙盒或受监督的环境中运行。
技术洞察
代理会获得屏幕截图和任务，并且具有视觉功能的模型将元素（按钮、字段）接地到像素坐标。它发出自动化层针对操作系统或浏览器执行的结构化操作。每次操作后，新的屏幕截图都会关闭循环，以便代理在再次采取行动之前感知结果。可靠性在很大程度上取决于准确的视觉基础以及点击落在错误元素上时的重试或验证逻辑。
战略影响
构建选择
应用级设计决定了人工智能是否能改善实际结果。
团队与工作流程
良好的工作流程集成可以创造用户值得信赖的生产力收益。
风险与安全
范围明确的用例可以减少变更疲劳和实施风险。
计算机使用代理的未来
随着模型在 UI 元素方面变得更好，并且随着一些交互转向更快的可访问性树而不是原始像素，准确性和速度将会提高。期待更强大的护栏：危险操作之前的确认提示、受限沙箱和审核日志。桌面和网络任务的标准基准正在日趋成熟，推动了可衡量的进展。从长远来看，CUA 可以将像素控制与直接 API 调用混合在一起，使用每个应用程序更可靠的方法，同时为支付等敏感操作保留人工批准步骤。
现实世界的实施
通过打开浏览器、导航预订网站、选择时间并输入联系方式来预订餐厅的代理。
通过读取屏幕上的收据并将值输入到没有 API 的桌面会计应用程序中，自动生成费用报告。
QA 测试，代理点击网络应用程序的注册流程以确认每个按钮和表单都有效。
通过阅读每个字段标签并输入正确的信息来填写重复的政府或保险网络表格。
风险与防护栏
将损坏的流程自动化可能会加剧现有问题。
团队可能会过度自动化并消除所需的人工判断。
如果不持续评估输出，质量可能会出现偏差。
实施路线图
绘制当前工作流程并确定摩擦最大的步骤。
在完全自动化之前定义人工检查点。
对用户进行提示、升级路径和质量标准方面的培训。
跟踪任务级结果以确认持续价值。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Computer-Using Agents quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is Computer-Using Agents?
使用计算机的代理以人的方式操作计算机：查看屏幕、移动光标、单击和打字。这使得人工智能可以使用任何带有图形界面的软件，甚至是没有 API 的应用程序。
使用计算机的代理主要如何与软件交互？
CUA 感知屏幕截图并发出类似人类的输入操作，例如单击和击键。
在像素和击键级别操作的主要优点是什么？
由于 CUA 的行为就像人类用户一样，因此它可以驱动遗留应用程序或无 API 的应用程序。
代理收到什么来决定下一步行动？
每次操作后，代理都会捕获新的屏幕截图，形成感知-操作循环。
以下哪一个是计算机使用代理产品的真实示例？
Claude 计算机使用和 OpenAI 的操作员是众所周知的计算机使用代理。
为什么使用计算机的代理经常在沙盒环境中运行？
授予代理对真实计算机的控制权会带来风险，因此隔离和监督可以减少潜在的危害。