وكلاء استخدام الكمبيوتر
يقوم الوكلاء الذين يستخدمون الكمبيوتر بتشغيل الكمبيوتر بالطريقة التي يعمل بها الشخص: عرض الشاشة، وتحريك المؤشر، والنقر، والكتابة.
نظرة عامة
This lets AI use any software with a graphical interface, even apps with no API.
الغوص العميق
يتحكم وكيل استخدام الكمبيوتر (CUA) في سطح المكتب الحقيقي أو الافتراضي من خلال شاشته وأجهزة الإدخال بدلاً من واجهات برمجة التطبيقات على مستوى التعليمات البرمجية. يتلقى النموذج لقطات شاشة للشاشة، وأسبابًا حول ما يراه، ويخرج إجراءات منخفضة المستوى مثل "النقر على الإحداثي (412، 230)" أو "اكتب هذا النص" أو "التمرير لأسفل". تتكرر حلقة الإدراك والإجراء هذه: تصرف، التقط لقطة شاشة جديدة، ثم قرر الخطوة التالية. ونظرًا لأنه يعمل على مستوى البكسل وضغط المفاتيح، يمكن لـ CUA تشغيل متصفحات الويب وملء النماذج والتنقل في القوائم واستخدام التطبيقات القديمة التي لا تكشف عن أي واجهة برمجية. تتضمن الأمثلة استخدام Anthropic لجهاز الكمبيوتر Claude وعامل تشغيل OpenAI. إن المقايضات حقيقية: يمكن أن تكون قراءة الشاشة بطيئة، ويمكن أن تفوت النقرات، كما أن منح الوكيل التحكم في الجهاز يثير مخاوف تتعلق بالسلامة، لذلك يتم تشغيل معظمها في بيئات معزولة أو خاضعة للإشراف.
البصيرة الفنية
يُعطى الوكيل لقطة شاشة بالإضافة إلى المهمة، ويقوم النموذج القادر على رؤية العناصر (الأزرار والحقول) بإحداثيات البكسل. يصدر إجراءً منظمًا تنفذه طبقة الأتمتة ضد نظام التشغيل أو المتصفح. بعد كل إجراء، تُغلق لقطة شاشة جديدة الحلقة، وبالتالي يدرك الوكيل النتيجة قبل التصرف مرة أخرى. تعتمد الموثوقية بشكل كبير على الأساس البصري الدقيق وعلى منطق إعادة المحاولة أو التحقق عندما تصل النقرة إلى العنصر الخطأ.
التأثير الاستراتيجي
خيارات البناء
يحدد التصميم على مستوى التطبيق ما إذا كان الذكاء الاصطناعي سيحسن النتائج الحقيقية.
الفريق وسير العمل
يؤدي التكامل الجيد لسير العمل إلى تحقيق مكاسب إنتاجية يمكن للمستخدمين الوثوق بها.
المخاطر والسلامة
تعمل حالات الاستخدام ذات النطاق الجيد على تقليل إجهاد التغيير ومخاطر التنفيذ.
مستقبل وكلاء استخدام الكمبيوتر
سيتم تحسين الدقة والسرعة مع تحسن النماذج في تأريض عناصر واجهة المستخدم ومع تحول بعض التفاعلات إلى أشجار إمكانية الوصول بشكل أسرع بدلاً من وحدات البكسل الأولية. توقع حواجز حماية أقوى: مطالبات التأكيد قبل الإجراءات المحفوفة بالمخاطر، وصناديق الحماية المقيدة، وسجلات التدقيق. تنضج المعايير القياسية لمهام سطح المكتب والويب، مما يؤدي إلى تحقيق تقدم قابل للقياس. على المدى الطويل، قد تمزج CUAs التحكم في البكسل مع مكالمات واجهة برمجة التطبيقات المباشرة، باستخدام أيهما أكثر موثوقية لكل تطبيق، مع الحفاظ على خطوة الموافقة البشرية للعمليات الحساسة مثل المدفوعات.
التنفيذ في العالم الحقيقي
وكيل يقوم بحجز مطعم عن طريق فتح المتصفح، والتنقل في موقع الحجز، واختيار الوقت، وإدخال تفاصيل الاتصال.
أتمتة تقارير النفقات من خلال قراءة الإيصالات على الشاشة وكتابة القيم في تطبيق محاسبة سطح المكتب الذي لا يحتوي على واجهة برمجة التطبيقات.
اختبار ضمان الجودة حيث ينقر الوكيل خلال تدفق الاشتراك في تطبيق الويب للتأكد من عمل كل زر ونموذج.
قم بملء نماذج الويب الحكومية أو التأمينية المتكررة من خلال قراءة تسمية كل حقل وكتابة المعلومات الصحيحة.
المخاطر والدرابزين
يمكن أن تؤدي أتمتة عملية معطلة إلى تضخيم المشاكل الموجودة.
قد تقوم الفرق بالإفراط في أتمتة وإزالة الحكم البشري المطلوب.
يمكن أن تنحرف الجودة إذا لم يتم تقييم المخرجات بشكل مستمر.
خارطة طريق التنفيذ
قم بتخطيط سير العمل الحالي وحدد خطوة الاحتكاك الأعلى.
تحديد نقاط التفتيش البشرية قبل الأتمتة الكاملة.
تدريب المستخدمين على المطالبات ومسارات التصعيد ومعايير الجودة.
تتبع النتائج على مستوى المهمة لتأكيد القيمة المستدامة.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Computer-Using Agents quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
عوامل الانعكاس والتصحيح الذاتي
الأسئلة المتداولة
What is Computer-Using Agents?
يقوم الوكلاء الذين يستخدمون الكمبيوتر بتشغيل الكمبيوتر بالطريقة التي يعمل بها الشخص: عرض الشاشة، وتحريك المؤشر، والنقر، والكتابة. يتيح ذلك للذكاء الاصطناعي استخدام أي برنامج بواجهة رسومية، حتى التطبيقات التي لا تحتوي على واجهة برمجة التطبيقات.
كيف يتفاعل وكيل استخدام الكمبيوتر بشكل أساسي مع البرامج؟
تستقبل CUA لقطات الشاشة وتصدر إجراءات إدخال شبيهة بالإنسان مثل النقرات وضغطات المفاتيح.
ما هي الميزة الرئيسية للعمل على مستوى البكسل وضغطة المفتاح؟
ونظرًا لأنها تعمل كمستخدم بشري، فيمكن لـ CUA تشغيل التطبيقات القديمة أو التطبيقات التي لا تحتوي على واجهة برمجة التطبيقات (API).
ما الذي يحصل عليه الوكيل ليقرر الإجراء التالي؟
بعد كل إجراء، يلتقط الوكيل لقطة شاشة جديدة، مما يشكل حلقة من الإدراك والإجراء.
أي مما يلي يعد مثالًا حقيقيًا لمنتج وكيل يستخدم الكمبيوتر؟
يعد استخدام الكمبيوتر Claude ومشغل OpenAI من الوكلاء المعروفين لاستخدام الكمبيوتر.
لماذا يتم تشغيل الوكلاء الذين يستخدمون الكمبيوتر غالبًا في بيئات معزولة؟
إن منح العميل السيطرة على جهاز كمبيوتر حقيقي ينطوي على مخاطر، لذا فإن العزل والإشراف يقللان من الضرر المحتمل.