Mawakala wanaotumia Kompyuta
Mawakala wanaotumia kompyuta huendesha kompyuta jinsi mtu anavyofanya: kutazama skrini, kusogeza kielekezi, kubofya na kuandika.
Muhtasari
This lets AI use any software with a graphical interface, even apps with no API.
Dive ya kina
Wakala anayetumia kompyuta (CUA) hudhibiti eneo-kazi halisi au pepe kupitia skrini yake na vifaa vya kuingiza data badala ya kupitia API za kiwango cha msimbo. Muundo hupokea picha za skrini za onyesho, sababu kuhusu kile inachokiona, na kutoa vitendo vya kiwango cha chini kama vile 'bofya kwenye kuratibu (412, 230)', 'andika maandishi haya', au 'shuka chini'. Kitanzi hiki cha mtazamo-kitendo kinajirudia: tenda, piga picha mpya ya skrini, amua hatua inayofuata. Kwa sababu inafanya kazi katika kiwango cha pikseli-na-kibonye, CUA inaweza kuendesha vivinjari vya wavuti, kujaza fomu, kusogeza menyu, na kutumia programu za urithi ambazo hazionyeshi kiolesura cha programu. Mifano ni pamoja na Anthropic Claude matumizi ya kompyuta na OpenAI ya Opereta. Marekebisho ni ya kweli: usomaji wa skrini unaweza kuwa polepole, mibofyo inaweza kukosa, na kumpa wakala udhibiti wa mashine huibua maswala ya usalama, kwa hivyo nyingi huendeshwa katika mazingira ya sandbox au yanayosimamiwa.
Ufahamu wa Kiufundi
Wakala hupewa picha ya skrini pamoja na jukumu, na vipengee vya msingi vya uwezo wa kuona (vitufe, sehemu) kwa viwianishi vya pikseli. Inatoa kitendo kilichopangwa ambacho safu ya otomatiki hutekeleza dhidi ya OS au kivinjari. Baada ya kila kitendo, picha mpya ya skrini hufunga kitanzi, kwa hivyo wakala hugundua matokeo kabla ya kuchukua hatua tena. Kuegemea kunategemea sana uwekaji msingi sahihi wa mwonekano na mantiki ya kujaribu tena au ya uthibitishaji wakati mbofyo inapofikia kipengele kisicho sahihi.
Athari za kimkakati
Tengeneza chaguzi
Muundo wa kiwango cha programu huamua kama AI inaboresha matokeo halisi.
Timu na mtiririko wa kazi
Ujumuishaji mzuri wa mtiririko wa kazi hutengeneza faida za tija ambazo watumiaji wanaweza kuamini.
Risk and safety
Kesi za utumiaji zilizopangwa vizuri hupunguza uchovu wa mabadiliko na hatari ya utekelezaji.
Mustakabali wa Mawakala Wanaotumia Kompyuta
Usahihi na kasi itaboreka kadiri miundo inavyoboreka katika kuweka vipengele vya UI na jinsi baadhi ya mwingiliano unavyobadilika hadi kwenye miti inayofikika haraka badala ya pikseli mbichi. Tarajia ulinzi thabiti zaidi: vidokezo vya uthibitishaji kabla ya vitendo hatari, visanduku vya mchanga vilivyowekewa vikwazo, na kumbukumbu za ukaguzi. Vigezo vya kawaida vya kazi za kompyuta za mezani na wavuti vinakomaa, hivyo kusukuma maendeleo yanayoweza kupimika. Kwa muda mrefu, CUAs zinaweza kuchanganya udhibiti wa pikseli na simu za moja kwa moja za API, kwa kutumia chochote kinachotegemewa zaidi kwa kila programu, huku zikiendelea kuchukua hatua ya idhini ya kibinadamu kwa shughuli nyeti kama vile malipo.
Utekelezaji wa Ulimwengu Halisi
Wakala anayehifadhi mkahawa kwa kufungua kivinjari, kusogeza kwenye tovuti ya kuweka nafasi, kuchagua saa na kuweka maelezo ya mawasiliano.
Kuendesha ripoti za gharama kiotomatiki kwa kusoma risiti kwenye skrini na kuandika thamani kwenye programu ya uhasibu ya kompyuta ya mezani ambayo haina API.
Jaribio la QA ambapo wakala anabofya kupitia mtiririko wa kujisajili wa programu ya wavuti ili kuthibitisha kila kitufe na fomu inafanya kazi.
Kujaza fomu za mtandao za serikali au za bima zinazojirudiarudia kwa kusoma kila lebo ya sehemu na kuandika taarifa sahihi.
Hatari & Walinzi
Kuweka kiotomatiki mchakato uliovunjika kunaweza kukuza shida zilizopo.
Timu zinaweza kufanya otomatiki kupita kiasi na kuondoa uamuzi unaohitajika wa kibinadamu.
Ubora unaweza kuyumba ikiwa matokeo hayatatathminiwa mara kwa mara.
Ramani ya Utekelezaji
Ramani ya mtiririko wa kazi wa sasa na utambue hatua ya msuguano wa juu zaidi.
Bainisha vituo vya ukaguzi vya binadamu kabla ya otomatiki kamili.
Fundisha watumiaji kuhusu maekelezo, njia za kupanda na viwango vya ubora.
Fuatilia matokeo ya kiwango cha kazi ili kuthibitisha thamani endelevu.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Computer-Using Agents quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Mawakala wa Kutafakari na Kujisahihisha
Maswali yanayoulizwa mara kwa mara
What is Computer-Using Agents?
Mawakala wanaotumia kompyuta huendesha kompyuta jinsi mtu anavyofanya: kutazama skrini, kusogeza kielekezi, kubofya na kuandika. Hii huruhusu AI kutumia programu yoyote iliyo na kiolesura cha picha, hata programu zisizo na API.
Je, wakala anayetumia kompyuta huingiliana vipi na programu?
CUA hutambua picha za skrini na kutoa vitendo vya kuingiza data kama vile vya kibinadamu kama vile kubofya na kubofya vitufe.
Je, ni faida gani kuu ya kufanya kazi katika kiwango cha pikseli-na-kibonye?
Kwa sababu inafanya kazi kama mtumiaji wa kibinadamu, CUA inaweza kuendesha programu zilizopitwa na wakati au zisizo na API.
Je, wakala hupokea nini ili kuamua hatua yake inayofuata?
Baada ya kila kitendo wakala hunasa picha mpya ya skrini, na kutengeneza kitanzi cha mtizamo-kitendo.
Ni ipi kati ya hizi ni mfano halisi wa bidhaa ya wakala anayetumia kompyuta?
Claude matumizi ya kompyuta na OpenAI ya Opereta ni mawakala wanaojulikana wanaotumia kompyuta.
Kwa nini mawakala wanaotumia kompyuta mara nyingi huendeshwa katika mazingira ya sanduku?
Kutoa udhibiti wa wakala wa kompyuta halisi hubeba hatari, kwa hivyo kutengwa na usimamizi hupunguza madhara yanayoweza kutokea.