概述
使用计算机的代理以人的方式操作计算机：查看屏幕、移动光标、单击和打字。这使得人工智能可以使用任何带有图形界面的软件，甚至是没有 API 的应用程序。
Computer-Using Agents 专注于实际部署：将模型功能转化为可靠的日常工作流程，提供可衡量的价值。
深入探讨
计算机使用代理 (CUA) 通过屏幕和输入设备而不是通过代码级 API 控制真实或虚拟桌面。该模型接收显示的屏幕截图，解释所看到的内容，并输出低级操作，例如“单击坐标 (412, 230)”、“键入此文本”或“向下滚动”。这种感知-行动循环不断重复：行动、捕捉新的屏幕截图、决定下一步行动。由于 CUA 在像素和击键级别工作，因此可以驱动 Web 浏览器、填写表单、导航菜单以及使用不公开编程接口的遗留应用程序。示例包括 Anthropic 的 Claude 计算机使用和 OpenAI 的操作员。权衡是真实的：屏幕读取速度可能很慢，点击可能会错过，并且让代理控制机器会引起安全问题，因此大多数都在沙盒或受监督的环境中运行。
技术洞察
代理会获得屏幕截图和任务，并且具有视觉功能的模型将元素（按钮、字段）接地到像素坐标。它发出自动化层针对操作系统或浏览器执行的结构化操作。每次操作后，新的屏幕截图都会关闭循环，以便代理在再次采取行动之前感知结果。可靠性在很大程度上取决于准确的视觉基础以及点击落在错误元素上时的重试或验证逻辑。
掌握计算机使用代理
使用计算机的代理以人的方式操作计算机：查看屏幕、移动光标、单击和打字。这使得人工智能可以使用任何带有图形界面的软件，甚至是没有 API 的应用程序。 Computer-Using Agents 专注于实际部署：将模型功能转化为可靠的日常工作流程，提供可衡量的价值。为了建立深入的理解，请将计算机使用代理视为一种操作模型，而不是单一功能：定义期望的结果，澄清假设，并将系统可以可靠地完成的任务与仍需要专家判断的任务分开。
在实践中，使用计算机使用代理的强大团队专注于工作流程结果，而不是模型演示，并尽早定义人工检查点。他们记录明确的成功标准，根据实际数据和工作流程进行测试，并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。
应用级设计决定了人工智能是否能改善实际结果。与此同时，将损坏的流程自动化可能会加剧现有的问题。最具弹性的方法是将实验速度与治理规则结合起来：运行试点、捕获证据、发布决策日志，并随着模型行为、用户期望和监管要求的发展不断更新保障措施。
战略影响
应用级设计决定了人工智能是否能改善实际结果。
应用级设计决定了人工智能是否能改善实际结果。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
良好的工作流程集成可以创造用户值得信赖的生产力收益。
良好的工作流程集成可以创造用户值得信赖的生产力收益。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
范围明确的用例可以减少变更疲劳和实施风险。
范围明确的用例可以减少变更疲劳和实施风险。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
现实世界的实施
通过打开浏览器、导航预订网站、选择时间并输入联系方式来预订餐厅的代理。
通过读取屏幕上的收据并将值输入到没有 API 的桌面会计应用程序中，自动生成费用报告。
QA 测试，代理点击网络应用程序的注册流程以确认每个按钮和表单都有效。
通过阅读每个字段标签并输入正确的信息来填写重复的政府或保险网络表格。
实施模式
计算机使用代理的实践
通过打开浏览器、导航预订网站、选择时间并输入联系方式来预订餐厅的代理。
代理通过打开浏览器、导航预订网站、选择时间和输入联系方式来预订餐厅。当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时，通常会得到更好的结果。
计算机使用代理的实践
通过读取屏幕上的收据并将值输入到没有 API 的桌面会计应用程序中，自动生成费用报告。
通过读取屏幕上的收据并向没有 API 的桌面会计应用程序中输入值来自动化费用报告。当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时，通常会获得更好的结果。
计算机使用代理的实践
QA 测试，代理点击网络应用程序的注册流程以确认每个按钮和表单都有效。
QA 测试，代理点击 Web 应用程序的注册流程来确认每个按钮和表单是否有效。当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时，通常会获得更好的结果。
计算机使用代理的实践
通过阅读每个字段标签并输入正确的信息来填写重复的政府或保险网络表格。
通过阅读每个字段标签并输入正确的信息来填写重复的政府或保险网络表单当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力增益和错误成本时，通常会获得更好的结果。
风险与防护栏
将损坏的流程自动化可能会加剧现有问题。
团队可能会过度自动化并消除所需的人工判断。
如果不持续评估输出，质量可能会出现偏差。
实施路线图
绘制当前工作流程并确定摩擦最大的步骤。
绘制当前工作流程并确定摩擦最大的步骤。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
在完全自动化之前定义人工检查点。
在完全自动化之前定义人工检查点。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
对用户进行提示、升级路径和质量标准方面的培训。
对用户进行提示、升级路径和质量标准方面的培训。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
跟踪任务级结果以确认持续价值。
跟踪任务级结果以确认持续价值。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。