Il prossimoProssima guida
Agenti di riflessione e autocorrezione
Applicazioni
GUIDA alle applicazioni
Gli agenti che utilizzano il computer interagiscono con le interfacce grafiche attraverso osservazioni dello schermo e azioni di input come clic, digitazione e scorrimento.
Ascolta questa guidaNarrato dall'IA · ~2 min
Possono prendere di mira alcune applicazioni senza un'API dedicata, ma le prestazioni dipendono dall'accesso, dalla base visiva e dalla complessità delle attività.
Un agente di utilizzo del computer riceve uno screenshot o un'altra osservazione dell'interfaccia supportata, seleziona un'azione come fare clic, digitare o scorrere e osserva la schermata risultante prima di agire nuovamente. Benchmark come OSWorld testano attività illimitate su applicazioni Web e desktop reali in ambienti di sistemi operativi controllati. Alcuni sistemi possono anche utilizzare metadati di accessibilità, che forniscono proprietà strutturate degli elementi dell'interfaccia. La messa a terra visiva e l'esecuzione delle azioni possono fallire e il funzionamento tramite una GUI non rende ogni applicazione accessibile o ogni attività affidabile. Utilizza limiti di autorizzazione, verifica e approvazione umana per azioni sensibili.
Naviga in un modulo Web in un ambiente di test e verifica lo stato della pagina risultante.
Utilizza un'attività di benchmark desktop per modificare un documento e verificare che il file sia stato salvato.
Combina gli screenshot con i metadati di accessibilità quando un ambiente li rende disponibili.
Esegui azioni in un ambiente limitato e richiedi conferma per operazioni consequenziali.
I sistemi e i benchmark per l'uso del computer continuano ad evolversi. Confrontare modelli sui sistemi operativi, sulle applicazioni, sulle modalità di osservazione e sullo spazio d'azione rilevanti per l'attività prevista; i punteggi dei benchmark non stabiliscono il successo universale del compito.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Gli agenti che utilizzano il computer interagiscono con le interfacce grafiche attraverso osservazioni dello schermo e azioni di input come clic, digitazione e scorrimento. Possono prendere di mira alcune applicazioni senza un'API dedicata, ma le prestazioni dipendono dall'accesso, dalla base visiva e dalla complessità delle attività.
Un CUA percepisce gli screenshot ed emette azioni di input simili a quelle umane come clic e sequenze di tasti.
Poiché agisce come un utente umano, una CUA può gestire applicazioni legacy o prive di API.
Dopo ogni azione l'agente cattura un nuovo screenshot, formando un ciclo percezione-azione.
L'utilizzo del computer di Claude e l'operatore di OpenAI sono agenti noti che utilizzano il computer.
Concedere a un agente il controllo di un computer reale comporta dei rischi, quindi l'isolamento e la supervisione riducono i potenziali danni.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Agenti di riflessione e autocorrezione
Applicazioni