āļāđāļāđāļāļāļģāđāļāļ°āļāļģāļāđāļāđāļ
āļāļąāļ§āđāļāļāļāļēāļĢāļŠāļ°āļāđāļāļāļāļĨāļąāļāđāļĨāļ°āļāļēāļĢāđāļāđāđāļāļāļāđāļāļ
āļāļēāļĢāđāļāđāļāļēāļ
āļāļđāđāļĄāļ·āļāđāļāļāļāļĨāļīāđāļāļāļąāļ
āđāļāđāļāļāļāđāļāļĩāđāđāļāđāļāļāļĄāļāļīāļ§āđāļāļāļĢāđāđāļāđāļāļāļāļāļąāļāļāļīāļāđāļāļāļĢāđāđāļāļāđāļāļāļāļĢāļēāļāļīāļāļāđāļēāļāļāļēāļĢāļŠāļąāļāđāļāļāļŦāļāđāļēāļāļāđāļĨāļ°āļāļēāļĢāļāļģāđāļāļīāļāļāļēāļĢāļāđāļāļāļāđāļāļĄāļđāļĨ āđāļāđāļ āļāļēāļĢāļāļĨāļīāļ āļāļēāļĢāļāļīāļĄāļāđ āđāļĨāļ°āļāļēāļĢāđāļĨāļ·āđāļāļ
āļāļąāļāļāļģāđāļāļ°āļāļģāļāļĩāđāļāļĢāļĢāļĒāļēāļĒāđāļāļĒ AI · ~2 min
They can target some applications without a dedicated API, but performance depends on access, visual grounding, and task complexity.
A computer-use agent receives a screenshot or other supported interface observation, selects an action such as click, type, or scroll, and observes the resulting screen before acting again. Benchmarks such as OSWorld test open-ended tasks across real desktop and web applications in controlled operating-system environments. Some systems can also use accessibility metadata, which supplies structured properties of interface elements. Visual grounding and action execution can fail, and working through a GUI does not make every application accessible or every task reliable. Use permission limits, verification, and human approval for sensitive actions.
Navigate a web form in a test environment and verify the resulting page state.
Use a desktop benchmark task to edit a document and confirm the file was saved.
Combine screenshots with accessibility metadata when an environment makes it available.
Run actions in a restricted environment and require confirmation for consequential operations.
Computer-use systems and benchmarks continue to evolve. Compare models on the operating systems, applications, observation modes, and action space relevant to the intended task; benchmark scores do not establish universal task success.
āļāļāļŦāļĄāļēāļĒāļāđāļēāļ§āļāļĢāļĩ
āđāļĢāļ·āđāļāļāļĢāļēāļ§ AI āļāļĩāđāļāļĢāļ§āļāļŠāļāļāđāļĨāđāļ§ 3 āđāļĢāļ·āđāļāļāļāļļāļāļ§āļąāļāļāļģāļāļēāļ āđāļāđāļē, āđāļāļĩāļĒāļāđāļāđāļāļ āļēāļĐāļēāļāļąāļāļāļĪāļĐāļāļĢāļĢāļĄāļāļē āļāļĢāļĩāļāļĨāļāļāđāļ āđāļĄāđāļĄāļĩāđāļāļĐāļāļē
āļāļĩāđāļĄāļĨāļŦāļāļķāđāļāļāļāļąāļāļāļļāļāļ§āļąāļāļāļģāļāļēāļ āļĒāļāđāļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļāļĢāđāļāļāļĨāļīāļāđāļāļĩāļĒāļ§ āđāļĢāļēāđāļĄāđāđāļāļĒāļāļēāļĒāļŦāļĢāļ·āļāđāļāļĢāđāļāļĩāđāļāļĒāļđāđāļāļĩāđāļĄāļĨāļāļāļāļāļļāļ
āļāļāļŠāļāļāļāļąāļ§āđāļāļ
āļāđāļāđāļŠāļāļāđāļāļ°āļāļąāļāļāļĩāļŠāļģāļŦāļĢāļąāļāļāļļāļāļāļģāļāļāļ āđāļĨāļ°āđāļāļĢāļąāļāļĢāļāļāļāļĩāđāļŠāļēāļĄāļēāļĢāļāđāļāļĢāđāđāļāđāļāļĢāđāļāļĄ ID āļāļĩāđāļāļĢāļ§āļāļŠāļāļāđāļāđāđāļĄāļ·āđāļāļāļļāļāļāđāļēāļāļŦāļĨāļąāļāļŠāļđāļāļĢ
āļŠāļāļąāļāļŠāļāļļāļāļāļēāļĢāļĻāļķāļāļĐāļē AI āļāļĢāļĩ AI Understanding āđāļāđāļāļāļāļāđāļāļĢāđāļĄāđāđāļŠāļ§āļāļŦāļēāļāļĨāļāļģāđāļĢ 501(c)(3) â āđāļĄāđāļĄāļĩāđāļāļĐāļāļē āđāļĄāđāļĄāļĩāļāļģāđāļāļāđāļāļīāļ, āļāļĨāļāļāđāļ āļāļĢāļīāļāļēāļ
Computer-using agents interact with graphical interfaces through screen observations and input actions such as clicks, typing, and scrolling. They can target some applications without a dedicated API, but performance depends on access, visual grounding, and task complexity.
CUA āļĢāļąāļāļĢāļđāđāļ āļēāļāļŦāļāđāļēāļāļāđāļĨāļ°āđāļŠāļāļāļāļēāļĢāļāļģāđāļāļīāļāļāļēāļĢāļāđāļāļāļāđāļāļĄāļđāļĨāļāļĩāđāđāļŦāļĄāļ·āļāļāļāļąāļāļĄāļāļļāļĐāļĒāđ āđāļāđāļ āļāļēāļĢāļāļĨāļīāļāđāļĨāļ°āļāļēāļĢāļāļāđāļāđāļāļāļīāļĄāļāđ
āđāļāļ·āđāļāļāļāļēāļ CUA āļāļģāļŦāļāđāļēāļāļĩāđāđāļŦāļĄāļ·āļāļāļāļđāđāđāļāđāļāļĩāđāđāļāđāļāļĄāļāļļāļĐāļĒāđ āļāļķāļāļŠāļēāļĄāļēāļĢāļāļāļąāļāđāļāļĨāļ·āđāļāļāđāļāļāļāļĨāļīāđāļāļāļąāļāļĢāļļāđāļāđāļāđāļēāļŦāļĢāļ·āļāļāļĩāđāđāļĄāđāļĄāļĩ API āđāļāđ
āļŦāļĨāļąāļāļāļēāļāđāļāđāļĨāļ°āļāļēāļĢāļāļĢāļ°āļāļģ āđāļāđāļēāļŦāļāđāļēāļāļĩāđāļāļ°āļāļąāļāļ āļēāļāļŦāļāđāļēāļāļāđāļŦāļĄāđ āļāđāļāđāļŦāđāđāļāļīāļāļĨāļđāļāļāļēāļĢāļĢāļąāļāļĢāļđāđ-āļāļēāļĢāļāļĢāļ°āļāļģ
Claude āļāļēāļĢāđāļāđāļāļāļĄāļāļīāļ§āđāļāļāļĢāđāđāļĨāļ°āļāļđāđāļāļģāđāļāļīāļāļāļēāļĢāļāļāļ OpenAI āđāļāđāļāļāļąāļ§āđāļāļāļāļēāļĢāđāļāđāļāļāļĄāļāļīāļ§āđāļāļāļĢāđāļāļĩāđāļĢāļđāđāļāļąāļāļāļąāļāļāļĩ
āļāļēāļĢāđāļŦāđāļāļąāļ§āđāļāļāļāļ§āļāļāļļāļĄāļāļāļĄāļāļīāļ§āđāļāļāļĢāđāļāļĢāļīāļāļāļąāđāļāļĄāļĩāļāļ§āļēāļĄāđāļŠāļĩāđāļĒāļ āļāļąāļāļāļąāđāļāļāļēāļĢāđāļĒāļāđāļĨāļ°āļāļēāļĢāļāļ§āļāļāļļāļĄāļāļđāđāļĨāļāļķāļāļāđāļ§āļĒāļĨāļāļāļąāļāļāļĢāļēāļĒāļāļĩāđāļāļēāļāđāļāļīāļāļāļķāđāļāđāļāđ
āđāļĢāļĩāļĒāļāļĢāļđāđāļāđāļāđāļ
āļāļģāđāļāļ°āļāļģāđāļāļīāđāļĄāđāļāļīāļĄāļāļĩāđāđāļĨāļ·āļāļāļŠāļģāļŦāļĢāļąāļāļŦāļąāļ§āļāđāļāļāļĩāđ
āļāđāļāđāļāļāļģāđāļāļ°āļāļģāļāđāļāđāļ
āļāļąāļ§āđāļāļāļāļēāļĢāļŠāļ°āļāđāļāļāļāļĨāļąāļāđāļĨāļ°āļāļēāļĢāđāļāđāđāļāļāļāđāļāļ
āļāļēāļĢāđāļāđāļāļēāļ