概述
它们可以针对某些没有专用 API 的应用程序，但性能取决于访问权限、视觉定位和任务复杂度。
深入探讨
计算机使用智能体接收屏幕截图或其他支持的界面观察结果，选择点击、输入或滚动等动作，并在再次行动前观察结果屏幕。OSWorld 等基准测试在受控的操作系统环境中测试跨真实桌面和 Web 应用程序的开放式任务。一些系统还可以使用辅助功能元数据，它提供界面元素的结构化属性。视觉定位和动作执行可能会失败，通过 GUI 操作并不能使每个应用程序都可访问或每个任务都可靠。对敏感操作使用权限限制、验证和人工审批。
现实世界的实施
在测试环境中导航网页表单，并验证生成的页面状态。
使用桌面基准任务编辑文档，并确认文件已保存。
当环境提供时，将屏幕截图与辅助功能元数据结合使用。
在受限环境中运行操作，并要求对后果重大的操作进行确认。
计算机使用代理的未来
计算机使用系统和基准测试仍在不断演进。针对预期任务相关的操作系统、应用程序、观察模式和动作空间比较模型；基准分数并不能确立通用的任务成功率。
付诸实践
为什么这很重要
- 构建选择. 应用级设计决定了人工智能是否能改善实际结果。
- 团队与工作流程. 良好的工作流程集成可以创造用户值得信赖的生产力收益。
- 风险与安全. 范围明确的用例可以减少变更疲劳和实施风险。
留意
- 将损坏的流程自动化可能会加剧现有问题。
- 团队可能会过度自动化并消除所需的人工判断。
- 如果不持续评估输出，质量可能会出现偏差。
后续步骤
- 绘制当前工作流程并确定摩擦最大的步骤。
- 在完全自动化之前定义人工检查点。
- 对用户进行提示、升级路径和质量标准方面的培训。
- 跟踪任务级结果以确认持续价值。
不断探索
常见问题
什么是计算机使用代理？
计算机使用智能体通过屏幕观察和输入操作（如点击、输入和滚动）与图形界面进行交互。它们可以针对某些没有专用 API 的应用程序，但性能取决于访问权限、视觉定位和任务复杂度。
使用计算机的代理主要如何与软件交互？
CUA 感知屏幕截图并发出类似人类的输入操作，例如单击和击键。
在像素和击键级别操作的主要优点是什么？
由于 CUA 的行为就像人类用户一样，因此它可以驱动遗留应用程序或无 API 的应用程序。
代理收到什么来决定下一步行动？
每次操作后，代理都会捕获新的屏幕截图，形成感知-操作循环。
以下哪一个是计算机使用代理产品的真实示例？
Claude 计算机使用和 OpenAI 的操作员是众所周知的计算机使用代理。
为什么使用计算机的代理经常在沙盒环境中运行？
授予代理对真实计算机的控制权会带来风险，因此隔离和监督可以减少潜在的危害。