পরবর্তী আপপরবর্তী গাইড
SWE-বেঞ্চ এবং কোডিং এজেন্ট বেঞ্চমার্ক
টেকনিক্যাল
প্রযুক্তিগত গাইড
AI এজেন্টদের মূল্যায়ন মানে বাস্তবসম্মত সেটিংসে একটি বহু-পদক্ষেপ সিস্টেম কতটা ভালোভাবে লক্ষ্যে পৌঁছায় তা পরিমাপ করা।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min
এটি কাজটি শেষ করেছে কিনা, এটি যে পথটি গ্রহণ করেছে তা বোধগম্য কিনা, এটি সঠিকভাবে সরঞ্জাম ব্যবহার করেছে কিনা, এর দাম কত এবং এটি নিরাপদ ছিল কিনা তা কভার করে। এজেন্টরা অনেক ধাপে কাজ করে এবং এর পার্শ্বপ্রতিক্রিয়া থাকে, তাই একটি রেফারেন্সের বিপরীতে একটি উত্তর পরীক্ষা করা যথেষ্ট নয়, এবং ভাল মূল্যায়ন সাধারণত এজেন্টকে একটি নিয়ন্ত্রিত পরিবেশের মধ্যে চালায় এবং চূড়ান্ত অবস্থা পরিদর্শন করে।
এজেন্ট মূল্যায়ন বিভিন্ন জিনিস দেখায়. টাস্ক সাফল্য জিজ্ঞাসা করে যে লক্ষ্যটি আসলে অর্জিত হয়েছে কিনা, আদর্শভাবে পরে পরিবেশ দেখে পরীক্ষা করা হয়েছে: পরীক্ষা পাস, সঠিক রেকর্ড বিদ্যমান, ফাইলের সঠিক বিষয়বস্তু রয়েছে। ট্র্যাজেক্টরি গুণমান জিজ্ঞাসা করে যে পদক্ষেপগুলি যুক্তিসঙ্গত ছিল কিনা, লুপ ছাড়া, অর্থহীন কল বা ভাগ্যবান অনুমান। টুল-ব্যবহারের সঠিকতা যাচাই করে যে এজেন্ট বৈধ আর্গুমেন্ট সহ সঠিক টুল বাছাই করেছে এবং ত্রুটিগুলি পরিচালনা করেছে। খরচ এবং লেটেন্সি ট্র্যাক টোকেন, কল এবং ওয়াল-ক্লক সময়। নিরাপত্তা পরীক্ষা করে যে এজেন্ট ক্ষতিকারক বা অননুমোদিত ক্রিয়াকলাপ এড়িয়ে গেছে এবং প্রম্পট ইনজেকশন প্রতিরোধ করেছে কিনা। পরিবেশ-ভিত্তিক বেঞ্চমার্ক একটি নেতৃস্থানীয় পদ্ধতিতে পরিণত হয়েছে। SWE-বেঞ্চ, প্রিন্সটন গবেষকদের কাছ থেকে, প্রকৃত GitHub সমস্যাগুলি সমাধান করতে এজেন্টদের বলে এবং প্রকল্পের পরীক্ষাগুলির সাথে ফলাফলগুলি পরীক্ষা করে এবং SWE-বেঞ্চ যাচাই করা একটি মানব-চেক করা উপসেট। WebArena ব্রাউজিং টাস্কের জন্য স্ব-হোস্টেড ওয়েবসাইট প্রদান করে। OSWorld সম্পূর্ণ কম্পিউটার ডেস্কটপ পরিচালনাকারী এজেন্টদের পরীক্ষা করে। GAIA প্রশ্ন উত্থাপন করে যেগুলির জন্য বহু-পদক্ষেপ গবেষণা এবং সরঞ্জামগুলির প্রয়োজন৷ টাউ-বেঞ্চ স্যুট ব্যবহারকারী এবং ডোমেন নীতিগুলিকে অনুকরণ করে এবং এটি একটি পাস^k মেট্রিক প্রবর্তন করে যা জিজ্ঞাসা করে যে একজন এজেন্ট k বারবার প্রচেষ্টার প্রতিটিতে সফল হয় কিনা। গ্রেডিং তিনটি প্রধান ধরণের চেক ব্যবহার করে: ফলাফলের কোড-ভিত্তিক চেক, যা সুনির্দিষ্ট এবং সস্তা; মডেল-ভিত্তিক গ্রেডার যারা একটি রুব্রিকের বিপরীতে ট্রান্সক্রিপ্ট স্কোর করে, যা নমনীয় কিন্তু মানুষের বিচারের বিরুদ্ধে পরীক্ষা করা প্রয়োজন; এবং মানুষের পর্যালোচনা, যা সবচেয়ে বিশ্বস্ত এবং ধীরগতির। একটি সাধারণ ভুল হল পাবলিক লিডারবোর্ডকে একা বিশ্বাস করা। বেঞ্চমার্কগুলি প্রশিক্ষণের ডেটা ফাঁস করতে পারে, স্যাচুরেটেড হতে পারে বা আপনার নিজের কাজের চাপের সাথে সাদৃশ্য রাখতে ব্যর্থ হতে পারে। আরেকটি ভুল হল এক দৌড়কে সত্য হিসাবে বিবেচনা করা, যেহেতু এজেন্টরা অনির্ধারিত এবং সাফল্যের হারে ছোট পার্থক্য গোলমাল হতে পারে। দলগুলি তাদের নিজস্ব বাস্তব কাজ এবং ব্যর্থতা থেকে নির্মিত একটি ব্যক্তিগত মূল্যায়ন সেট থেকে সর্বাধিক মূল্য পায়, বারবার চালানো হয় এবং সময়ের সাথে ট্র্যাক করা হয়।
একটি কোডিং-এজেন্ট দল প্রতিটি প্রচেষ্টাকে স্কোর করে যে রিপোজিটরির লুকানো পরীক্ষাগুলি এজেন্টের প্যাচের পরে পাস হয় কিনা, যেমনটি SWE-বেঞ্চ করে, পার্থক্যটি সঠিক দেখাচ্ছে কিনা তা বিচার করার পরিবর্তে।
একজন গ্রাহক-পরিষেবা এজেন্ট সিমুলেটেড ব্যবহারকারী এবং একটি উপহাস বুকিং ডাটাবেসের বিরুদ্ধে চলে। চূড়ান্ত ডাটাবেসের অবস্থা সঠিক ফলাফলের সাথে মেলে কিনা এবং এজেন্ট অর্থ ফেরত নীতি অনুসরণ করেছে কিনা তা গ্রেডাররা পরীক্ষা করে।
একটি ইঞ্জিনিয়ারিং দল প্রতিটি টাস্ক পাঁচবার চালায় এবং রিপোর্ট করে যে কত ঘন ঘন এজেন্ট পাঁচটিতেই সফল হয়, যা অস্পষ্ট আচরণ প্রকাশ করে যা একক রানের সাফল্যের হার লুকিয়ে রাখে।
একটি কোম্পানী একটি নিরাপত্তা স্যুট যোগ করে যেখানে কাজগুলির মধ্যে ফাইলগুলি মুছে ফেলার জন্য বা ডেটা ফাঁস করার জন্য একটি লাগানো নির্দেশ অন্তর্ভুক্ত থাকে এবং এটি অন্যথায় সফলভাবে চালানোকে ব্যর্থ হিসাবে গণ্য করে যদি এজেন্ট আনুগত্য করে।
এজেন্টরা দীর্ঘ কাজগুলি গ্রহণ করার সাথে সাথে মূল্যায়নগুলি দীর্ঘ দিগন্ত, আরও বাস্তবসম্মত পরিবেশ, এবং নির্ভরযোগ্যতা এবং খরচের পরিমাপের পাশাপাশি সর্বোচ্চ ক্ষমতার দিকে অগ্রসর হচ্ছে৷ বেঞ্চমার্ক স্যাচুরেশন এবং দূষণ সম্ভবত ডেভেলপারদের নতুন কাজ তৈরি করতে এবং ব্যক্তিগত, ডোমেন-নির্দিষ্ট পরীক্ষা সেটের উপর বেশি নির্ভর করতে থাকবে। প্রম্পট ইনজেকশনের প্রতিরোধ সহ নিরাপত্তা এবং নিরাপত্তা মূল্যায়ন, এজেন্টরা প্রকৃত সিস্টেমে অ্যাক্সেস পাওয়ার কারণে আরও মনোযোগ পাচ্ছে। ওপেন-এন্ডেড এজেন্ট আচরণ গ্রেড করার জন্য কোন সম্মত মান নেই, তাই ফলাফল পরীক্ষা, ক্যালিব্রেটেড মডেল গ্রেডার এবং মানুষের পর্যালোচনা একত্রিত করা সাধারণ অভ্যাস থেকে যেতে পারে।
ফ্রি নিউজলেটার
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
AI এজেন্টদের মূল্যায়ন মানে বাস্তবসম্মত সেটিংসে একটি বহু-পদক্ষেপ সিস্টেম কতটা ভালোভাবে লক্ষ্যে পৌঁছায় তা পরিমাপ করা। এটি কাজটি শেষ করেছে কিনা, এটি যে পথটি গ্রহণ করেছে তা বোধগম্য কিনা, এটি সঠিকভাবে সরঞ্জাম ব্যবহার করেছে কিনা, এর দাম কত এবং এটি নিরাপদ ছিল কিনা তা কভার করে। এজেন্টরা অনেক ধাপে কাজ করে এবং এর পার্শ্বপ্রতিক্রিয়া থাকে, তাই একটি রেফারেন্সের বিপরীতে একটি উত্তর পরীক্ষা করা যথেষ্ট নয়, এবং ভাল মূল্যায়ন সাধারণত এজেন্টকে একটি নিয়ন্ত্রিত পরিবেশের মধ্যে চালায় এবং চূড়ান্ত অবস্থা পরিদর্শন করে।
মাল্টি-স্টেপ অ্যাকশন পরিবেশ পরিবর্তন করে, তাই আপনাকে পরীক্ষা করতে হবে আসলে কী ঘটেছে এবং কীভাবে হয়েছে, শুধু চূড়ান্ত পাঠ্য নয়।
পরিবেশ-ভিত্তিক চেক, এখানে প্রকল্পের পরীক্ষা, ঠিক করা সত্যিই কাজ করে কিনা তা বিচার করে।
সমস্ত k প্রচেষ্টায় সাফল্যের প্রয়োজন সঙ্গতি পরিমাপ করে, যা প্রকৃত ব্যবহারকারীদের জন্য নিযুক্ত এজেন্টদের জন্য গুরুত্বপূর্ণ।
ট্র্যাজেক্টরি চেকগুলি নেওয়া পথ বিচার করে, লুপ ধরা এবং নষ্ট করে যে ফলাফল চেক একাই মিস করে।
মডেল গ্রেডাররা নমনীয় তবে মানুষের বিচারের বিরুদ্ধে পরীক্ষা করা উচিত এবং পদ্ধতিগত পক্ষপাতের জন্য পর্যবেক্ষণ করা উচিত।
শিখতে থাকুন
এই বিষয়ের জন্য বাছাই করা আরও গাইড
পরবর্তী আপপরবর্তী গাইড
SWE-বেঞ্চ এবং কোডিং এজেন্ট বেঞ্চমার্ক
টেকনিক্যাল