Bilgisayar Kullanan Aracılar
Bilgisayar kullanan aracılar, bilgisayarı bir kişinin yaptığı gibi çalıştırır: ekranı görüntülemek, imleci hareket ettirmek, tıklamak ve yazmak.
Genel Bakış
This lets AI use any software with a graphical interface, even apps with no API.
Derin Dalış
Bilgisayar kullanan bir aracı (CUA), gerçek veya sanal bir masaüstünü, kod düzeyindeki API'ler yerine ekranı ve giriş aygıtları aracılığıyla kontrol eder. Model, ekranın ekran görüntülerini, gördükleriyle ilgili nedenleri alır ve '(412, 230) koordinatına tıklayın', 'bu metni yazın' veya 'aşağı kaydır' gibi düşük düzeyli eylemlerin çıktısını alır. Bu algı-eylem döngüsü tekrarlanıyor: Harekete geçin, yeni bir ekran görüntüsü yakalayın, bir sonraki hamleye karar verin. Piksel ve tuş vuruşu seviyesinde çalıştığı için CUA, web tarayıcılarını çalıştırabilir, formları doldurabilir, menülerde gezinebilir ve programatik bir arayüz göstermeyen eski uygulamaları kullanabilir. Örnekler arasında Anthropic'nin Claude bilgisayar kullanımı ve OpenAI'nin Operatörü yer alır. Takaslar gerçek: ekran okuma yavaş olabilir, tıklamalar kaçırılabilir ve bir temsilciye makinenin kontrolünü vermek güvenlik endişelerini artırır; bu nedenle çoğu, korumalı alanda veya denetlenen ortamlarda çalışır.
Teknik Bilgi
Temsilciye bir ekran görüntüsü artı görev verilir ve görüş özellikli bir model, öğeleri (düğmeler, alanlar) piksel koordinatlarına dayandırır. Bir otomasyon katmanının işletim sistemi veya tarayıcıya karşı yürüttüğü yapılandırılmış bir eylemi yayar. Her eylemden sonra yeni bir ekran görüntüsü döngüyü kapatır, böylece temsilci tekrar harekete geçmeden önce sonucu algılar. Güvenilirlik büyük ölçüde doğru görsel zemine ve bir tıklama yanlış öğeye geldiğinde yeniden deneme veya doğrulama mantığına bağlıdır.
Stratejik Etki
Build choices
Uygulama düzeyinde tasarım, yapay zekanın gerçek sonuçları iyileştirip iyileştirmediğini belirler.
Ekip ve iş akışı
İyi iş akışı entegrasyonu, kullanıcıların güvenebileceği üretkenlik kazanımları sağlar.
Risk and safety
İyi kapsamlı kullanım örnekleri, değişiklik yorgunluğunu ve uygulama riskini azaltır.
Bilgisayar Kullanan Aracıların Geleceği
Modeller kullanıcı arayüzü öğelerini temellendirmede daha iyi hale geldikçe ve bazı etkileşimler ham pikseller yerine daha hızlı erişilebilirlik ağaçlarına geçtikçe doğruluk ve hız artacaktır. Daha güçlü korkuluklar bekliyoruz: riskli eylemlerden önce onay istemleri, kısıtlanmış sanal alanlar ve denetim günlükleri. Masaüstü ve web görevlerine yönelik standart kıyaslamalar olgunlaşıyor ve ölçülebilir ilerleme sağlanıyor. Daha uzun vadede CUA'lar, ödemeler gibi hassas işlemler için insan onayı adımını korurken, uygulama başına hangisi daha güvenilirse onu kullanarak piksel kontrolünü doğrudan API çağrılarıyla harmanlayabilir.
Gerçek Dünya Uygulaması
Bir tarayıcı açarak, rezervasyon sitesinde gezinerek, bir zaman seçerek ve iletişim bilgilerini girerek bir restorana rezervasyon yapan acente.
Ekrandaki makbuzları okuyarak ve API'si olmayan bir masaüstü muhasebe uygulamasına değerler yazarak gider raporlarını otomatikleştirme.
Temsilcinin her düğmenin ve formun çalıştığını doğrulamak için bir web uygulamasının kayıt akışını tıkladığı QA testi.
Her alan etiketini okuyarak ve doğru bilgileri yazarak tekrarlayan hükümet veya sigorta web formlarını doldurmak.
Riskler ve Korkuluklar
Bozuk bir süreci otomatikleştirmek mevcut sorunları büyütebilir.
Ekipler aşırı otomatikleşebilir ve gerekli insan muhakemesini ortadan kaldırabilir.
Çıktılar sürekli olarak değerlendirilmezse kalite düşebilir.
Uygulama Yol Haritası
Mevcut iş akışının haritasını çıkarın ve en yüksek sürtünmeli adımı belirleyin.
Tam otomasyondan önce insan kontrol noktalarını tanımlayın.
Kullanıcıları istemler, yükseltme yolları ve kalite standartları konusunda eğitin.
Sürdürülebilir değeri doğrulamak için görev düzeyindeki sonuçları izleyin.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Computer-Using Agents quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Yansıma ve Kendini Düzelten Ajanlar
Sık sorulan sorular
What is Computer-Using Agents?
Bilgisayar kullanan aracılar, bilgisayarı bir kişinin yaptığı gibi çalıştırır: ekranı görüntülemek, imleci hareket ettirmek, tıklamak ve yazmak. Bu, AI'nın grafik arayüze sahip herhangi bir yazılımı, hatta API olmayan uygulamaları bile kullanmasına olanak tanır.
Bilgisayar kullanan bir aracı öncelikle yazılımla nasıl etkileşime girer?
CUA, ekran görüntülerini algılar ve tıklamalar ve tuş vuruşları gibi insan benzeri giriş eylemleri gerçekleştirir.
Piksel ve tuş vuruşu düzeyinde çalışmanın temel avantajı nedir?
Bir insan kullanıcı gibi davrandığından CUA, eski veya API'siz uygulamaları çalıştırabilir.
Temsilci bir sonraki eylemine karar vermek için ne alacak?
Her eylemden sonra temsilci yeni bir ekran görüntüsü yakalayarak bir algı-eylem döngüsü oluşturur.
Bunlardan hangisi bilgisayar kullanan aracı ürünün gerçek bir örneğidir?
Claude bilgisayar kullanımı ve OpenAI Operatörü, iyi bilinen bilgisayar kullanan aracılardır.
Bilgisayar kullanan aracılar neden genellikle korumalı alan ortamlarında çalıştırılıyor?
Bir temsilciye gerçek bir bilgisayarın kontrolünü vermek risk taşır; bu nedenle izolasyon ve denetim, potansiyel zararı azaltır.