প্রযুক্তিগত গাইড

এআই এজেন্টদের মূল্যায়ন করা

AI এজেন্টদের মূল্যায়ন মানে বাস্তবসম্মত সেটিংসে একটি বহু-পদক্ষেপ সিস্টেম কতটা ভালোভাবে লক্ষ্যে পৌঁছায় তা পরিমাপ করা।

এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min

এই পৃষ্ঠায়4 মিনিট পড়া
  1. ওভারভিউ
  2. গভীর ডুব
  3. বাস্তব-বিশ্ব বাস্তবায়ন
  4. এআই এজেন্টদের মূল্যায়নের ভবিষ্যত
  5. এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
  6. অন্বেষণ চালিয়ে যান
  7. প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

ওভারভিউ

এটি কাজটি শেষ করেছে কিনা, এটি যে পথটি গ্রহণ করেছে তা বোধগম্য কিনা, এটি সঠিকভাবে সরঞ্জাম ব্যবহার করেছে কিনা, এর দাম কত এবং এটি নিরাপদ ছিল কিনা তা কভার করে। এজেন্টরা অনেক ধাপে কাজ করে এবং এর পার্শ্বপ্রতিক্রিয়া থাকে, তাই একটি রেফারেন্সের বিপরীতে একটি উত্তর পরীক্ষা করা যথেষ্ট নয়, এবং ভাল মূল্যায়ন সাধারণত এজেন্টকে একটি নিয়ন্ত্রিত পরিবেশের মধ্যে চালায় এবং চূড়ান্ত অবস্থা পরিদর্শন করে।

গভীর ডুব

এজেন্ট মূল্যায়ন বিভিন্ন জিনিস দেখায়. টাস্ক সাফল্য জিজ্ঞাসা করে যে লক্ষ্যটি আসলে অর্জিত হয়েছে কিনা, আদর্শভাবে পরে পরিবেশ দেখে পরীক্ষা করা হয়েছে: পরীক্ষা পাস, সঠিক রেকর্ড বিদ্যমান, ফাইলের সঠিক বিষয়বস্তু রয়েছে। ট্র্যাজেক্টরি গুণমান জিজ্ঞাসা করে যে পদক্ষেপগুলি যুক্তিসঙ্গত ছিল কিনা, লুপ ছাড়া, অর্থহীন কল বা ভাগ্যবান অনুমান। টুল-ব্যবহারের সঠিকতা যাচাই করে যে এজেন্ট বৈধ আর্গুমেন্ট সহ সঠিক টুল বাছাই করেছে এবং ত্রুটিগুলি পরিচালনা করেছে। খরচ এবং লেটেন্সি ট্র্যাক টোকেন, কল এবং ওয়াল-ক্লক সময়। নিরাপত্তা পরীক্ষা করে যে এজেন্ট ক্ষতিকারক বা অননুমোদিত ক্রিয়াকলাপ এড়িয়ে গেছে এবং প্রম্পট ইনজেকশন প্রতিরোধ করেছে কিনা। পরিবেশ-ভিত্তিক বেঞ্চমার্ক একটি নেতৃস্থানীয় পদ্ধতিতে পরিণত হয়েছে। SWE-বেঞ্চ, প্রিন্সটন গবেষকদের কাছ থেকে, প্রকৃত GitHub সমস্যাগুলি সমাধান করতে এজেন্টদের বলে এবং প্রকল্পের পরীক্ষাগুলির সাথে ফলাফলগুলি পরীক্ষা করে এবং SWE-বেঞ্চ যাচাই করা একটি মানব-চেক করা উপসেট। WebArena ব্রাউজিং টাস্কের জন্য স্ব-হোস্টেড ওয়েবসাইট প্রদান করে। OSWorld সম্পূর্ণ কম্পিউটার ডেস্কটপ পরিচালনাকারী এজেন্টদের পরীক্ষা করে। GAIA প্রশ্ন উত্থাপন করে যেগুলির জন্য বহু-পদক্ষেপ গবেষণা এবং সরঞ্জামগুলির প্রয়োজন৷ টাউ-বেঞ্চ স্যুট ব্যবহারকারী এবং ডোমেন নীতিগুলিকে অনুকরণ করে এবং এটি একটি পাস^k মেট্রিক প্রবর্তন করে যা জিজ্ঞাসা করে যে একজন এজেন্ট k বারবার প্রচেষ্টার প্রতিটিতে সফল হয় কিনা। গ্রেডিং তিনটি প্রধান ধরণের চেক ব্যবহার করে: ফলাফলের কোড-ভিত্তিক চেক, যা সুনির্দিষ্ট এবং সস্তা; মডেল-ভিত্তিক গ্রেডার যারা একটি রুব্রিকের বিপরীতে ট্রান্সক্রিপ্ট স্কোর করে, যা নমনীয় কিন্তু মানুষের বিচারের বিরুদ্ধে পরীক্ষা করা প্রয়োজন; এবং মানুষের পর্যালোচনা, যা সবচেয়ে বিশ্বস্ত এবং ধীরগতির। একটি সাধারণ ভুল হল পাবলিক লিডারবোর্ডকে একা বিশ্বাস করা। বেঞ্চমার্কগুলি প্রশিক্ষণের ডেটা ফাঁস করতে পারে, স্যাচুরেটেড হতে পারে বা আপনার নিজের কাজের চাপের সাথে সাদৃশ্য রাখতে ব্যর্থ হতে পারে। আরেকটি ভুল হল এক দৌড়কে সত্য হিসাবে বিবেচনা করা, যেহেতু এজেন্টরা অনির্ধারিত এবং সাফল্যের হারে ছোট পার্থক্য গোলমাল হতে পারে। দলগুলি তাদের নিজস্ব বাস্তব কাজ এবং ব্যর্থতা থেকে নির্মিত একটি ব্যক্তিগত মূল্যায়ন সেট থেকে সর্বাধিক মূল্য পায়, বারবার চালানো হয় এবং সময়ের সাথে ট্র্যাক করা হয়।

বাস্তব-বিশ্ব বাস্তবায়ন

একটি কোডিং-এজেন্ট দল প্রতিটি প্রচেষ্টাকে স্কোর করে যে রিপোজিটরির লুকানো পরীক্ষাগুলি এজেন্টের প্যাচের পরে পাস হয় কিনা, যেমনটি SWE-বেঞ্চ করে, পার্থক্যটি সঠিক দেখাচ্ছে কিনা তা বিচার করার পরিবর্তে।

একজন গ্রাহক-পরিষেবা এজেন্ট সিমুলেটেড ব্যবহারকারী এবং একটি উপহাস বুকিং ডাটাবেসের বিরুদ্ধে চলে। চূড়ান্ত ডাটাবেসের অবস্থা সঠিক ফলাফলের সাথে মেলে কিনা এবং এজেন্ট অর্থ ফেরত নীতি অনুসরণ করেছে কিনা তা গ্রেডাররা পরীক্ষা করে।

একটি ইঞ্জিনিয়ারিং দল প্রতিটি টাস্ক পাঁচবার চালায় এবং রিপোর্ট করে যে কত ঘন ঘন এজেন্ট পাঁচটিতেই সফল হয়, যা অস্পষ্ট আচরণ প্রকাশ করে যা একক রানের সাফল্যের হার লুকিয়ে রাখে।

একটি কোম্পানী একটি নিরাপত্তা স্যুট যোগ করে যেখানে কাজগুলির মধ্যে ফাইলগুলি মুছে ফেলার জন্য বা ডেটা ফাঁস করার জন্য একটি লাগানো নির্দেশ অন্তর্ভুক্ত থাকে এবং এটি অন্যথায় সফলভাবে চালানোকে ব্যর্থ হিসাবে গণ্য করে যদি এজেন্ট আনুগত্য করে।

এআই এজেন্টদের মূল্যায়নের ভবিষ্যত

এজেন্টরা দীর্ঘ কাজগুলি গ্রহণ করার সাথে সাথে মূল্যায়নগুলি দীর্ঘ দিগন্ত, আরও বাস্তবসম্মত পরিবেশ, এবং নির্ভরযোগ্যতা এবং খরচের পরিমাপের পাশাপাশি সর্বোচ্চ ক্ষমতার দিকে অগ্রসর হচ্ছে৷ বেঞ্চমার্ক স্যাচুরেশন এবং দূষণ সম্ভবত ডেভেলপারদের নতুন কাজ তৈরি করতে এবং ব্যক্তিগত, ডোমেন-নির্দিষ্ট পরীক্ষা সেটের উপর বেশি নির্ভর করতে থাকবে। প্রম্পট ইনজেকশনের প্রতিরোধ সহ নিরাপত্তা এবং নিরাপত্তা মূল্যায়ন, এজেন্টরা প্রকৃত সিস্টেমে অ্যাক্সেস পাওয়ার কারণে আরও মনোযোগ পাচ্ছে। ওপেন-এন্ডেড এজেন্ট আচরণ গ্রেড করার জন্য কোন সম্মত মান নেই, তাই ফলাফল পরীক্ষা, ক্যালিব্রেটেড মডেল গ্রেডার এবং মানুষের পর্যালোচনা একত্রিত করা সাধারণ অভ্যাস থেকে যেতে পারে।

এটাকে বাস্তবে প্রয়োগ করা হচ্ছে

কেন এটা গুরুত্বপূর্ণ

  • খরচ ও বাজেট. আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
  • সুস্পষ্ট সিদ্ধান্ত. কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
  • মান নিয়ন্ত্রণ. ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।

জন্য সতর্ক

  • একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
  • অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
  • সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।

পরবর্তী পদক্ষেপ

  1. বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
  2. বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
  3. ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
  4. স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।

অন্বেষণ চালিয়ে যান

ফ্রি নিউজলেটার

প্রতিদিনের এআই ব্রিফিং পান

প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।

প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।

নিজেকে পরীক্ষা করুন

Take the Evaluating AI Agents quiz

প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।

কুইজ শুরু করুন

ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন

প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

এআই এজেন্টদের মূল্যায়ন কি?

AI এজেন্টদের মূল্যায়ন মানে বাস্তবসম্মত সেটিংসে একটি বহু-পদক্ষেপ সিস্টেম কতটা ভালোভাবে লক্ষ্যে পৌঁছায় তা পরিমাপ করা। এটি কাজটি শেষ করেছে কিনা, এটি যে পথটি গ্রহণ করেছে তা বোধগম্য কিনা, এটি সঠিকভাবে সরঞ্জাম ব্যবহার করেছে কিনা, এর দাম কত এবং এটি নিরাপদ ছিল কিনা তা কভার করে। এজেন্টরা অনেক ধাপে কাজ করে এবং এর পার্শ্বপ্রতিক্রিয়া থাকে, তাই একটি রেফারেন্সের বিপরীতে একটি উত্তর পরীক্ষা করা যথেষ্ট নয়, এবং ভাল মূল্যায়ন সাধারণত এজেন্টকে একটি নিয়ন্ত্রিত পরিবেশের মধ্যে চালায় এবং চূড়ান্ত অবস্থা পরিদর্শন করে।

কেন একটি একক চূড়ান্ত উত্তর পরীক্ষা করা সাধারণত এজেন্টদের জন্য যথেষ্ট নয়?

মাল্টি-স্টেপ অ্যাকশন পরিবেশ পরিবর্তন করে, তাই আপনাকে পরীক্ষা করতে হবে আসলে কী ঘটেছে এবং কীভাবে হয়েছে, শুধু চূড়ান্ত পাঠ্য নয়।

SWE-বেঞ্চ কীভাবে বিচার করে যে একজন এজেন্ট একটি সমস্যা সমাধান করেছে কিনা?

পরিবেশ-ভিত্তিক চেক, এখানে প্রকল্পের পরীক্ষা, ঠিক করা সত্যিই কাজ করে কিনা তা বিচার করে।

একটি পাস^k শৈলী মেট্রিক পরিমাপ কি?

সমস্ত k প্রচেষ্টায় সাফল্যের প্রয়োজন সঙ্গতি পরিমাপ করে, যা প্রকৃত ব্যবহারকারীদের জন্য নিযুক্ত এজেন্টদের জন্য গুরুত্বপূর্ণ।

কোন মাত্রা একটি এজেন্টকে পতাকাঙ্কিত করবে যেটি সফল হয় কিন্তু একটি পাঁচ-পদক্ষেপের কাজের জন্য পঞ্চাশটি পদক্ষেপ নেয়?

ট্র্যাজেক্টরি চেকগুলি নেওয়া পথ বিচার করে, লুপ ধরা এবং নষ্ট করে যে ফলাফল চেক একাই মিস করে।

মডেল-ভিত্তিক গ্রেডারের পরিচিত দুর্বলতা কী?

মডেল গ্রেডাররা নমনীয় তবে মানুষের বিচারের বিরুদ্ধে পরীক্ষা করা উচিত এবং পদ্ধতিগত পক্ষপাতের জন্য পর্যবেক্ষণ করা উচিত।

শিখতে থাকুন

সম্পর্কিত গাইড

এই বিষয়ের জন্য বাছাই করা আরও গাইড

একটি বিনামূল্যে AI শংসাপত্র পানএকটি সংক্ষিপ্ত বিনামূল্যে কোর্স এবং পরীক্ষা. কোনো খরচ নেই, কোনো কার্ড নেই। প্রায় 2.5 ঘন্টা।বিনামূল্যে শুরু করুন →