ตัวแทนการใช้คอมพิวเตอร์
เอเจนต์ที่ใช้คอมพิวเตอร์ควบคุมคอมพิวเตอร์ในลักษณะเดียวกับที่บุคคลทำ เช่น การดูหน้าจอ การเลื่อนเคอร์เซอร์ การคลิก และการพิมพ์
ภาพรวม
This lets AI use any software with a graphical interface, even apps with no API.
เจาะลึก
ตัวแทนการใช้คอมพิวเตอร์ (CUA) ควบคุมเดสก์ท็อปจริงหรือเสมือนผ่านหน้าจอและอุปกรณ์อินพุตแทนที่จะควบคุมผ่าน API ระดับรหัส โมเดลจะได้รับภาพหน้าจอของจอแสดงผล เหตุผลเกี่ยวกับสิ่งที่เห็น และส่งเอาต์พุตการดำเนินการระดับต่ำ เช่น "คลิกที่พิกัด (412, 230)" "พิมพ์ข้อความนี้" หรือ "เลื่อนลง" การรับรู้และการกระทำซ้ำๆ กัน: ดำเนินการ จับภาพหน้าจอใหม่ ตัดสินใจดำเนินการต่อไป เนื่องจากทำงานในระดับพิกเซลและการกดแป้นพิมพ์ CUA จึงสามารถขับเคลื่อนเว็บเบราว์เซอร์ กรอกแบบฟอร์ม นำทางเมนู และใช้แอปพลิเคชันรุ่นเก่าที่ไม่แสดงอินเทอร์เฟซทางโปรแกรม ตัวอย่าง ได้แก่ การใช้คอมพิวเตอร์ Claude ของ Anthropic และผู้ดำเนินการของ OpenAI ข้อเสียมีจริง: การอ่านหน้าจออาจช้า การคลิกอาจพลาด และการให้ตัวแทนควบคุมเครื่องจักรทำให้เกิดข้อกังวลด้านความปลอดภัย ดังนั้นส่วนใหญ่จึงทำงานในสภาพแวดล้อมแบบแซนด์บ็อกซ์หรือภายใต้การดูแล
ข้อมูลเชิงลึกทางเทคนิค
เจ้าหน้าที่จะได้รับภาพหน้าจอพร้อมงาน และโมเดลที่มีความสามารถในการมองเห็นจะกำหนดองค์ประกอบ (ปุ่ม ฟิลด์) ให้กับพิกัดพิกเซล มันส่งเสียงการกระทำที่มีโครงสร้างซึ่งเลเยอร์อัตโนมัติดำเนินการกับระบบปฏิบัติการหรือเบราว์เซอร์ หลังจากแต่ละการกระทำ ภาพหน้าจอใหม่จะปิดลูป ดังนั้นเจ้าหน้าที่จึงรับรู้ผลที่ตามมาก่อนที่จะดำเนินการอีกครั้ง ความน่าเชื่อถือขึ้นอยู่กับการมองเห็นภาพที่แม่นยำ และการลองใหม่หรือตรรกะการตรวจสอบ เมื่อคลิกไปที่องค์ประกอบที่ไม่ถูกต้อง
ผลกระทบเชิงกลยุทธ์
สร้างทางเลือก
การออกแบบระดับแอปพลิเคชันจะกำหนดว่า AI จะปรับปรุงผลลัพธ์ที่แท้จริงหรือไม่
ทีมงานและขั้นตอนการทำงาน
การบูรณาการขั้นตอนการทำงานที่ดีจะช่วยเพิ่มผลผลิตที่ผู้ใช้ไว้วางใจได้
ความเสี่ยงและความปลอดภัย
กรณีการใช้งานที่มีขอบเขตดีจะช่วยลดความเหนื่อยล้าของการเปลี่ยนแปลงและความเสี่ยงในการดำเนินการ
อนาคตของตัวแทนการใช้คอมพิวเตอร์
ความแม่นยำและความเร็วจะดีขึ้นเมื่อโมเดลทำงานได้ดียิ่งขึ้นในองค์ประกอบ UI ที่ต่อสายดิน และเนื่องจากการโต้ตอบบางอย่างเปลี่ยนไปเป็นแผนผังการเข้าถึงที่เร็วขึ้นแทนที่จะเป็นพิกเซลดิบ คาดว่าจะมีรั้วกั้นที่แข็งแกร่งยิ่งขึ้น: การแจ้งเตือนก่อนการดำเนินการที่มีความเสี่ยง แซนด์บ็อกซ์ที่ถูกจำกัด และบันทึกการตรวจสอบ การวัดประสิทธิภาพมาตรฐานสำหรับงานบนเดสก์ท็อปและบนเว็บกำลังเติบโต และผลักดันความก้าวหน้าที่วัดผลได้ ในระยะยาว CUA อาจผสมผสานการควบคุมพิกเซลกับการเรียก API โดยตรง โดยใช้วิธีใดก็ตามที่เชื่อถือได้มากกว่าต่อแอป ขณะเดียวกันก็รักษาขั้นตอนการอนุมัติของมนุษย์สำหรับการดำเนินการที่มีความละเอียดอ่อน เช่น การชำระเงิน
การใช้งานจริงในโลกแห่งความเป็นจริง
ตัวแทนที่จองร้านอาหารโดยเปิดเบราว์เซอร์ นำทางไปยังสถานที่จอง เลือกเวลา และป้อนรายละเอียดการติดต่อ
รายงานค่าใช้จ่ายอัตโนมัติโดยการอ่านใบเสร็จรับเงินบนหน้าจอและพิมพ์ค่าลงในแอปการบัญชีบนเดสก์ท็อปที่ไม่มี API
การทดสอบ QA โดยที่ตัวแทนคลิกผ่านขั้นตอนการลงทะเบียนของเว็บแอปเพื่อยืนยันว่าทุกปุ่มและแบบฟอร์มใช้งานได้
กรอกแบบฟอร์มเว็บรัฐบาลหรือประกันภัยซ้ำๆ โดยอ่านป้ายแต่ละช่องแล้วพิมพ์ข้อมูลที่ถูกต้อง
ความเสี่ยงและรั้ว
การทำให้กระบวนการที่เสียหายเป็นอัตโนมัติสามารถขยายปัญหาที่มีอยู่ได้
ทีมอาจดำเนินการอัตโนมัติมากเกินไปและลบวิจารณญาณของมนุษย์ที่จำเป็นออก
คุณภาพอาจคลาดเคลื่อนได้หากไม่ได้รับการประเมินผลลัพธ์อย่างต่อเนื่อง
แผนงานการดำเนินงาน
แมปขั้นตอนการทำงานปัจจุบันและระบุขั้นตอนที่มีแรงเสียดทานสูงสุด
กำหนดจุดตรวจของมนุษย์ก่อนระบบอัตโนมัติเต็มรูปแบบ
ฝึกอบรมผู้ใช้เกี่ยวกับการแจ้งเตือน เส้นทางการยกระดับ และมาตรฐานคุณภาพ
ติดตามผลลัพธ์ระดับงานเพื่อยืนยันคุณค่าที่ยั่งยืน
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Computer-Using Agents quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
ตัวแทนการสะท้อนกลับและการแก้ไขตนเอง
คำถามที่พบบ่อย
What is Computer-Using Agents?
เอเจนต์ที่ใช้คอมพิวเตอร์ควบคุมคอมพิวเตอร์ในลักษณะเดียวกับที่บุคคลทำ เช่น การดูหน้าจอ การเลื่อนเคอร์เซอร์ การคลิก และการพิมพ์ ซึ่งช่วยให้ AI สามารถใช้ซอฟต์แวร์ใดๆ ที่มีอินเทอร์เฟซแบบกราฟิก แม้แต่แอปที่ไม่มี API
เอเจนต์ที่ใช้คอมพิวเตอร์โต้ตอบกับซอฟต์แวร์เป็นหลักอย่างไร
CUA รับรู้ภาพหน้าจอและแสดงการดำเนินการป้อนข้อมูลที่เหมือนกับมนุษย์ เช่น การคลิกและการกดแป้นพิมพ์
ข้อได้เปรียบหลักของการทำงานในระดับพิกเซลและการกดแป้นพิมพ์คืออะไร?
เนื่องจาก CUA ทำหน้าที่เหมือนผู้ใช้ที่เป็นมนุษย์ จึงสามารถขับเคลื่อนแอปพลิเคชันรุ่นเก่าหรือที่ไม่มี API ได้
ตัวแทนจะได้รับอะไรเพื่อตัดสินใจดำเนินการต่อไป?
หลังจากแต่ละการกระทำ เจ้าหน้าที่จะจับภาพหน้าจอใหม่ ก่อให้เกิดลูปการรับรู้-การกระทำ
ข้อใดต่อไปนี้คือตัวอย่างที่แท้จริงของผลิตภัณฑ์ตัวแทนที่ใช้คอมพิวเตอร์
Claude การใช้คอมพิวเตอร์และผู้ดำเนินการของ OpenAI เป็นตัวแทนการใช้คอมพิวเตอร์ที่รู้จักกันดี
เหตุใดตัวแทนที่ใช้คอมพิวเตอร์จึงมักทำงานในสภาพแวดล้อมแบบแซนด์บ็อกซ์
การให้ตัวแทนควบคุมคอมพิวเตอร์จริงนั้นมีความเสี่ยง ดังนั้นการแยกและการควบคุมดูแลจึงช่วยลดอันตรายที่อาจเกิดขึ้นได้