কম্পিউটার-ব্যবহারকারী এজেন্ট
কম্পিউটার-ব্যবহারকারী এজেন্টরা একটি কম্পিউটার পরিচালনা করে যেভাবে একজন ব্যক্তি করে: স্ক্রীন দেখা, কার্সার সরানো, ক্লিক করা এবং টাইপ করা।
ওভারভিউ
This lets AI use any software with a graphical interface, even apps with no API.
গভীর ডুব
একটি কম্পিউটার-ব্যবহারকারী এজেন্ট (CUA) একটি বাস্তব বা ভার্চুয়াল ডেস্কটপ নিয়ন্ত্রণ করে তার স্ক্রীন এবং ইনপুট ডিভাইসের মাধ্যমে কোড-লেভেল API এর মাধ্যমে নয়। মডেলটি প্রদর্শনের স্ক্রিনশট গ্রহণ করে, এটি যা দেখে তার কারণগুলি এবং নিম্ন-স্তরের অ্যাকশনগুলি যেমন 'ক্লিক অ্যাট কোঅর্ডিনেট (412, 230)', 'এই টেক্সটটি টাইপ করুন', বা 'স্ক্রোল ডাউন'। এই উপলব্ধি-অ্যাকশন লুপ পুনরাবৃত্তি হয়: কাজ করুন, একটি নতুন স্ক্রিনশট ক্যাপচার করুন, পরবর্তী পদক্ষেপের সিদ্ধান্ত নিন। যেহেতু এটি পিক্সেল-এবং-কিস্ট্রোক স্তরে কাজ করে, একটি CUA ওয়েব ব্রাউজার চালাতে পারে, ফর্মগুলি পূরণ করতে পারে, মেনুতে নেভিগেট করতে পারে এবং এমন লিগ্যাসি অ্যাপ্লিকেশনগুলি ব্যবহার করতে পারে যা কোনও প্রোগ্রাম্যাটিক ইন্টারফেস প্রকাশ করে না। উদাহরণগুলির মধ্যে রয়েছে Anthropic এর Claude কম্পিউটার ব্যবহার এবং OpenAI এর অপারেটর৷ ট্রেড-অফগুলি বাস্তব: স্ক্রিন রিডিং ধীর হতে পারে, ক্লিকগুলি মিস করতে পারে এবং একটি এজেন্টকে একটি মেশিনের নিয়ন্ত্রণ প্রদান নিরাপত্তা উদ্বেগকে উত্থাপন করে, তাই বেশিরভাগ স্যান্ডবক্স করা বা তত্ত্বাবধানে পরিবেশে চালানো হয়।
প্রযুক্তিগত অন্তর্দৃষ্টি
এজেন্টকে একটি স্ক্রিনশট এবং টাস্ক দেওয়া হয়, এবং একটি দৃষ্টি-সক্ষম মডেল গ্রাউন্ড উপাদান (বোতাম, ক্ষেত্র) পিক্সেল স্থানাঙ্কের জন্য। এটি একটি কাঠামোগত ক্রিয়া নির্গত করে যা একটি অটোমেশন স্তর OS বা ব্রাউজারের বিরুদ্ধে কার্যকর করে। প্রতিটি ক্রিয়াকলাপের পরে একটি নতুন স্ক্রিনশট লুপ বন্ধ করে দেয়, তাই এজেন্ট আবার কাজ করার আগে ফলাফলটি উপলব্ধি করে। নির্ভরযোগ্যতা অনেকাংশে নির্ভর করে সঠিক ভিজ্যুয়াল গ্রাউন্ডিং এবং পুনরায় চেষ্টা বা যাচাইকরণ যুক্তির উপর যখন একটি ক্লিক ভুল উপাদানে ল্যান্ড করে।
কৌশলগত প্রভাব
পছন্দগুলি তৈরি করুন
অ্যাপ্লিকেশন-স্তরের নকশা নির্ধারণ করে যে AI বাস্তব ফলাফলগুলিকে উন্নত করে কিনা।
টিম এবং ওয়ার্কফ্লো
ভাল ওয়ার্কফ্লো ইন্টিগ্রেশন ব্যবহারকারীদের বিশ্বাস করতে পারে এমন উত্পাদনশীলতা লাভ তৈরি করে।
ঝুঁকি এবং নিরাপত্তা
সুপরিসর ব্যবহারের ক্ষেত্রে পরিবর্তনের ক্লান্তি এবং বাস্তবায়নের ঝুঁকি হ্রাস করে।
কম্পিউটার-ব্যবহারকারী এজেন্টদের ভবিষ্যত
যথার্থতা এবং গতি উন্নত হবে কারণ মডেলগুলি গ্রাউন্ডিং UI উপাদানগুলিতে আরও ভাল হয় এবং কিছু মিথস্ক্রিয়া কাঁচা পিক্সেলের পরিবর্তে দ্রুত অ্যাক্সেসযোগ্যতা গাছে স্থানান্তরিত হয়৷ শক্তিশালী রেললাইন আশা করুন: ঝুঁকিপূর্ণ ক্রিয়াকলাপ, সীমাবদ্ধ স্যান্ডবক্স এবং অডিট লগের আগে নিশ্চিতকরণ প্রম্পট। ডেস্কটপ এবং ওয়েব কাজের জন্য স্ট্যান্ডার্ড বেঞ্চমার্ক পরিপক্ক হচ্ছে, পরিমাপযোগ্য অগ্রগতি ঠেলে দিচ্ছে। দীর্ঘ মেয়াদে, CUAs পেমেন্টের মতো সংবেদনশীল ক্রিয়াকলাপের জন্য মানবিক অনুমোদনের ধাপ বজায় রেখে, প্রতি অ্যাপে যেটি বেশি নির্ভরযোগ্য তা ব্যবহার করে সরাসরি API কলের সাথে পিক্সেল নিয়ন্ত্রণকে মিশ্রিত করতে পারে।
বাস্তব-বিশ্ব বাস্তবায়ন
একটি এজেন্ট যে একটি ব্রাউজার খুলে, রিজার্ভেশন সাইট নেভিগেট করে, একটি সময় বেছে নিয়ে এবং যোগাযোগের বিশদ প্রবেশ করার মাধ্যমে একটি রেস্টুরেন্ট বুক করে।
স্ক্রিনে রসিদ পড়ে এবং কোনো API নেই এমন একটি ডেস্কটপ অ্যাকাউন্টিং অ্যাপে মান টাইপ করে খরচের প্রতিবেদন স্বয়ংক্রিয় করা।
QA পরীক্ষা যেখানে এজেন্ট প্রতিটি বোতাম এবং ফর্ম কাজ করে তা নিশ্চিত করতে একটি ওয়েব অ্যাপের সাইনআপ প্রবাহের মাধ্যমে ক্লিক করে।
প্রতিটি ফিল্ড লেবেল পড়ে এবং সঠিক তথ্য টাইপ করে পুনরাবৃত্তিমূলক সরকার বা বীমা ওয়েব ফর্ম পূরণ করা।
ঝুঁকি এবং প্রহরী
একটি ভাঙা প্রক্রিয়া স্বয়ংক্রিয়ভাবে বিদ্যমান সমস্যাগুলিকে প্রসারিত করতে পারে।
দলগুলি অতিরিক্ত-স্বয়ংক্রিয় হতে পারে এবং প্রয়োজনীয় মানবিক বিচার অপসারণ করতে পারে।
আউটপুট ক্রমাগত মূল্যায়ন না করা হলে গুণমান প্রবাহিত হতে পারে।
বাস্তবায়ন রোডম্যাপ
বর্তমান ওয়ার্কফ্লো ম্যাপ করুন এবং সর্বোচ্চ-ঘর্ষণ ধাপ সনাক্ত করুন।
সম্পূর্ণ অটোমেশনের আগে মানব চেকপয়েন্টগুলি সংজ্ঞায়িত করুন।
ব্যবহারকারীদের প্রম্পট, বৃদ্ধির পথ এবং মানের মান সম্পর্কে প্রশিক্ষণ দিন।
টেকসই মান নিশ্চিত করতে টাস্ক-লেভেল ফলাফল ট্র্যাক করুন।
অন্বেষণ চালিয়ে যান
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Computer-Using Agents quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
পরবর্তী গাইড
প্রতিফলন এবং স্ব-সংশোধনকারী এজেন্ট
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is Computer-Using Agents?
কম্পিউটার-ব্যবহারকারী এজেন্টরা একটি কম্পিউটার পরিচালনা করে যেভাবে একজন ব্যক্তি করে: স্ক্রীন দেখা, কার্সার সরানো, ক্লিক করা এবং টাইপ করা। এটি AI-কে গ্রাফিকাল ইন্টারফেস সহ যেকোন সফ্টওয়্যার ব্যবহার করতে দেয়, এমনকি কোনও API ছাড়াই অ্যাপগুলিও।
কিভাবে একটি কম্পিউটার-ব্যবহারকারী এজেন্ট প্রাথমিকভাবে সফ্টওয়্যারের সাথে যোগাযোগ করে?
একটি CUA স্ক্রিনশটগুলি উপলব্ধি করে এবং ক্লিক এবং কীস্ট্রোকের মতো মানুষের মতো ইনপুট অ্যাকশনগুলিকে সমস্যা করে৷
পিক্সেল-এবং-কিস্ট্রোক লেভেলে কাজ করার প্রধান সুবিধা কী?
যেহেতু এটি একজন মানব ব্যবহারকারীর মতো কাজ করে, একটি CUA উত্তরাধিকার বা API-হীন অ্যাপ্লিকেশন চালাতে পারে।
এজেন্ট তার পরবর্তী পদক্ষেপের সিদ্ধান্ত নিতে কী পায়?
প্রতিটি অ্যাকশনের পরে এজেন্ট একটি নতুন স্ক্রিনশট ক্যাপচার করে, একটি উপলব্ধি-অ্যাকশন লুপ তৈরি করে।
এর মধ্যে কোনটি কম্পিউটার-ব্যবহারকারী এজেন্ট পণ্যের একটি বাস্তব উদাহরণ?
Claude কম্পিউটার ব্যবহার এবং OpenAI এর অপারেটর হল সুপরিচিত কম্পিউটার-ব্যবহারকারী এজেন্ট।
কেন কম্পিউটার-ব্যবহারকারী এজেন্ট প্রায়ই স্যান্ডবক্সযুক্ত পরিবেশে চালানো হয়?
একটি প্রকৃত কম্পিউটারের এজেন্ট নিয়ন্ত্রণ প্রদান ঝুঁকি বহন করে, তাই বিচ্ছিন্নতা এবং তত্ত্বাবধান সম্ভাব্য ক্ষতি কমায়।