Agen yang Menggunakan Komputer
Agen yang menggunakan komputer mengoperasikan komputer seperti yang dilakukan seseorang: melihat layar, menggerakkan kursor, mengklik, dan mengetik.
Ikhtisar
This lets AI use any software with a graphical interface, even apps with no API.
Menyelam Lebih Dalam
Agen yang menggunakan komputer (CUA) mengontrol desktop nyata atau virtual melalui layar dan perangkat inputnya, bukan melalui API tingkat kode. Model menerima tangkapan layar tampilan, alasan tentang apa yang dilihatnya, dan mengeluarkan tindakan tingkat rendah seperti 'klik pada koordinat (412, 230)', 'ketik teks ini', atau 'gulir ke bawah'. Lingkaran persepsi-tindakan ini berulang: bertindak, ambil tangkapan layar baru, putuskan langkah selanjutnya. Karena bekerja pada tingkat piksel dan penekanan tombol, CUA dapat menggerakkan browser web, mengisi formulir, menavigasi menu, dan menggunakan aplikasi lama yang tidak menampilkan antarmuka terprogram. Contohnya termasuk penggunaan komputer Claude oleh Anthropic dan Operator OpenAI. Kerugiannya nyata: pembacaan layar bisa lambat, klik bisa meleset, dan memberikan agen kendali atas mesin akan menimbulkan masalah keamanan, sehingga sebagian besar dijalankan di lingkungan sandbox atau diawasi.
Wawasan Teknis
Agen diberi tangkapan layar ditambah tugas, dan model yang mampu melihat mendasarkan elemen (tombol, bidang) ke koordinat piksel. Ini mengeluarkan tindakan terstruktur yang dijalankan lapisan otomatisasi terhadap OS atau browser. Setelah setiap tindakan, tangkapan layar baru menutup perulangan, sehingga agen memahami konsekuensinya sebelum bertindak lagi. Keandalan sangat bergantung pada landasan visual yang akurat dan pada percobaan ulang atau logika verifikasi ketika sebuah klik mendarat di elemen yang salah.
Dampak Strategis
Build choices
Desain tingkat aplikasi menentukan apakah AI meningkatkan hasil nyata.
Team and workflow
Integrasi alur kerja yang baik menciptakan peningkatan produktivitas yang dapat dipercaya oleh pengguna.
Risk and safety
Kasus penggunaan yang tercakup dengan baik mengurangi kelelahan perubahan dan risiko implementasi.
Masa Depan Agen yang Menggunakan Komputer
Akurasi dan kecepatan akan meningkat seiring dengan semakin baiknya model dalam menggunakan elemen UI dan beberapa interaksi beralih ke pohon aksesibilitas yang lebih cepat daripada piksel mentah. Harapkan pagar pembatas yang lebih kuat: konfirmasi sebelum tindakan berisiko, kotak pasir yang dibatasi, dan log audit. Tolok ukur standar untuk tugas-tugas desktop dan web semakin matang, sehingga mendorong kemajuan yang terukur. Dalam jangka panjang, CUA dapat memadukan kontrol piksel dengan panggilan API langsung, menggunakan mana saja yang lebih andal untuk setiap aplikasi, sambil tetap menjaga langkah persetujuan manusia untuk operasi sensitif seperti pembayaran.
Implementasi Dunia Nyata
Agen yang memesan restoran dengan membuka browser, menavigasi situs reservasi, memilih waktu, dan memasukkan detail kontak.
Mengotomatiskan laporan pengeluaran dengan membaca tanda terima di layar dan mengetikkan nilai ke dalam aplikasi akuntansi desktop yang tidak memiliki API.
Pengujian QA di mana agen mengklik alur pendaftaran aplikasi web untuk mengonfirmasi setiap tombol dan formulir berfungsi.
Mengisi formulir web pemerintah atau asuransi berulang-ulang dengan membaca setiap label bidang dan mengetik informasi yang benar.
Risiko & Pagar Pembatas
Mengotomatiskan proses yang rusak dapat memperburuk masalah yang ada.
Tim mungkin terlalu mengotomatiskan dan menghilangkan penilaian manusia yang diperlukan.
Kualitas dapat menurun jika keluaran tidak dievaluasi secara terus menerus.
Peta Jalan Implementasi
Petakan alur kerja saat ini dan identifikasi langkah dengan gesekan tertinggi.
Tentukan pos pemeriksaan manusia sebelum otomatisasi penuh.
Latih pengguna tentang petunjuk, jalur eskalasi, dan standar kualitas.
Lacak hasil tingkat tugas untuk memastikan nilai berkelanjutan.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Computer-Using Agents quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Agen Refleksi dan Koreksi Diri
Pertanyaan yang sering diajukan
What is Computer-Using Agents?
Agen yang menggunakan komputer mengoperasikan komputer seperti yang dilakukan seseorang: melihat layar, menggerakkan kursor, mengklik, dan mengetik. Hal ini memungkinkan AI menggunakan perangkat lunak apa pun dengan antarmuka grafis, bahkan aplikasi tanpa API.
Bagaimana agen yang menggunakan komputer berinteraksi dengan perangkat lunak?
CUA mendeteksi tangkapan layar dan mengeluarkan tindakan masukan yang mirip manusia seperti klik dan penekanan tombol.
Apa keuntungan utama beroperasi pada tingkat piksel dan penekanan tombol?
Karena bertindak seperti pengguna manusia, CUA dapat menggerakkan aplikasi lama atau tanpa API.
Apa yang diterima agen untuk memutuskan tindakan selanjutnya?
Setelah setiap tindakan, agen mengambil tangkapan layar baru, membentuk lingkaran persepsi-tindakan.
Yang manakah contoh nyata produk agen yang menggunakan komputer?
Claude penggunaan komputer dan Operator OpenAI adalah agen pengguna komputer yang terkenal.
Mengapa agen yang menggunakan komputer sering kali dijalankan di lingkungan sandbox?
Memberikan agen kendali atas komputer sebenarnya membawa risiko, sehingga isolasi dan pengawasan mengurangi potensi bahaya.