Đại lý sử dụng máy tính
Các tác nhân sử dụng máy tính vận hành máy tính theo cách con người thực hiện: xem màn hình, di chuyển con trỏ, nhấp chuột và gõ.
Tổng quan
This lets AI use any software with a graphical interface, even apps with no API.
Lặn sâu
Tác nhân sử dụng máy tính (CUA) điều khiển máy tính để bàn thực hoặc ảo thông qua màn hình và thiết bị đầu vào thay vì thông qua API cấp mã. Mô hình nhận được ảnh chụp màn hình của màn hình, lý do về những gì nó nhìn thấy và đưa ra các hành động cấp thấp như 'nhấp vào tọa độ (412, 230)', 'nhập văn bản này' hoặc 'cuộn xuống'. Vòng lặp nhận thức-hành động này lặp lại: hành động, chụp ảnh màn hình mới, quyết định bước đi tiếp theo. Bởi vì nó hoạt động ở cấp độ pixel và tổ hợp phím, CUA có thể điều khiển trình duyệt web, điền vào biểu mẫu, điều hướng menu và sử dụng các ứng dụng cũ không có giao diện lập trình. Các ví dụ bao gồm việc sử dụng máy tính Claude của Anthropic và Toán tử của OpenAI. Sự đánh đổi là có thật: việc đọc màn hình có thể chậm, nhấp chuột có thể bị lỡ và việc trao quyền kiểm soát cho một tác nhân đối với máy sẽ làm tăng mối lo ngại về an toàn, vì vậy hầu hết đều chạy trong môi trường hộp cát hoặc được giám sát.
Hiểu biết kỹ thuật
Tác nhân được cung cấp một ảnh chụp màn hình cùng với nhiệm vụ và một mô hình có khả năng hiển thị căn cứ các phần tử (nút, trường) thành tọa độ pixel. Nó phát ra một hành động có cấu trúc mà lớp tự động hóa thực thi đối với hệ điều hành hoặc trình duyệt. Sau mỗi hành động, một ảnh chụp màn hình mới sẽ đóng vòng lặp để nhân viên hỗ trợ nhận thức được hậu quả trước khi hành động lại. Độ tin cậy phụ thuộc rất nhiều vào nền tảng trực quan chính xác và logic thử lại hoặc xác minh khi một cú nhấp chuột chạm vào phần tử sai.
Tác động chiến lược
Xây dựng lựa chọn
Thiết kế cấp ứng dụng xác định liệu AI có cải thiện kết quả thực tế hay không.
Nhóm và quy trình làm việc
Tích hợp quy trình làm việc tốt sẽ giúp tăng năng suất mà người dùng có thể tin tưởng.
Rủi ro và an toàn
Các trường hợp sử dụng có phạm vi phù hợp giúp giảm bớt sự mệt mỏi khi thay đổi và rủi ro triển khai.
Tương lai của các tác nhân sử dụng máy tính
Độ chính xác và tốc độ sẽ được cải thiện khi các mô hình có nền tảng tốt hơn cho các phần tử giao diện người dùng và khi một số tương tác chuyển sang cây khả năng truy cập nhanh hơn thay vì pixel thô. Mong đợi các biện pháp bảo vệ mạnh mẽ hơn: lời nhắc xác nhận trước các hành động rủi ro, hộp cát bị hạn chế và nhật ký kiểm tra. Điểm chuẩn tiêu chuẩn cho các tác vụ trên máy tính để bàn và web đang hoàn thiện, thúc đẩy tiến độ có thể đo lường được. Về lâu dài, CUA có thể kết hợp khả năng kiểm soát pixel với lệnh gọi API trực tiếp, sử dụng tùy chọn nào đáng tin cậy hơn cho mỗi ứng dụng, đồng thời vẫn duy trì bước phê duyệt của con người đối với các hoạt động nhạy cảm như thanh toán.
Triển khai trong thế giới thực
Một đại lý đặt chỗ nhà hàng bằng cách mở trình duyệt, điều hướng trang web đặt chỗ, chọn thời gian và nhập chi tiết liên hệ.
Tự động hóa báo cáo chi phí bằng cách đọc biên lai trên màn hình và nhập giá trị vào ứng dụng kế toán trên máy tính để bàn không có API.
Kiểm tra QA trong đó nhân viên nhấp qua luồng đăng ký của ứng dụng web để xác nhận mọi nút và biểu mẫu đều hoạt động.
Điền vào các biểu mẫu web bảo hiểm hoặc chính phủ lặp đi lặp lại bằng cách đọc từng nhãn trường và nhập thông tin chính xác.
Rủi ro & lan can
Tự động hóa một quy trình bị hỏng có thể khuếch đại các vấn đề hiện có.
Các nhóm có thể tự động hóa quá mức và loại bỏ sự phán xét cần thiết của con người.
Chất lượng có thể thay đổi nếu kết quả đầu ra không được đánh giá liên tục.
Lộ trình thực hiện
Lập sơ đồ quy trình làm việc hiện tại và xác định bước có mức độ ma sát cao nhất.
Xác định các điểm kiểm tra của con người trước khi tự động hóa hoàn toàn.
Đào tạo người dùng về lời nhắc, đường dẫn leo thang và tiêu chuẩn chất lượng.
Theo dõi kết quả ở cấp độ nhiệm vụ để xác nhận giá trị bền vững.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Computer-Using Agents quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Tác nhân phản xạ và tự điều chỉnh
Câu hỏi thường gặp
What is Computer-Using Agents?
Các tác nhân sử dụng máy tính vận hành máy tính theo cách con người thực hiện: xem màn hình, di chuyển con trỏ, nhấp chuột và gõ. Điều này cho phép AI sử dụng bất kỳ phần mềm nào có giao diện đồ họa, ngay cả những ứng dụng không có API.
Tác nhân sử dụng máy tính chủ yếu tương tác với phần mềm như thế nào?
CUA nhận biết ảnh chụp màn hình và đưa ra các hành động nhập giống như con người, chẳng hạn như nhấp chuột và nhấn phím.
Ưu điểm chính của việc vận hành ở cấp độ pixel và tổ hợp phím là gì?
Vì hoạt động giống như người dùng nên CUA có thể điều khiển các ứng dụng cũ hoặc không có API.
Tác nhân nhận được gì để quyết định hành động tiếp theo của nó?
Sau mỗi hành động, tác nhân sẽ chụp một ảnh chụp màn hình mới, tạo thành vòng lặp nhận thức-hành động.
Đâu là ví dụ thực tế về sản phẩm tác nhân sử dụng máy tính?
Claude việc sử dụng máy tính và Người điều hành OpenAI là những tác nhân sử dụng máy tính nổi tiếng.
Tại sao các tác nhân sử dụng máy tính thường chạy trong môi trường hộp cát?
Việc cấp quyền kiểm soát tác nhân cho một máy tính thực có rủi ro, vì vậy việc cách ly và giám sát sẽ giảm tác hại tiềm ẩn.