গাইড লিঙ্ক ক্যুইজ · কঠিন স্তর
এআই এজেন্ট কুইজ মূল্যায়ন
পরীক্ষা করে কিভাবে এজেন্ট ইভাল টাস্ক সাফল্য, ট্র্যাজেক্টরি এবং টুল ব্যবহার করে, কেন পরিবেশ-ভিত্তিক গ্রেডিং এবং বারবার ট্রায়াল গুরুত্বপূর্ণ, এবং গ্রেডার ট্রেড-অফ।
প্রশ্ন 1 এর 8
কেন একটি একক চূড়ান্ত উত্তর পরীক্ষা করা সাধারণত এজেন্টদের জন্য যথেষ্ট নয়?
প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন
আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।
- কেন একটি একক চূড়ান্ত উত্তর পরীক্ষা করা সাধারণত এজেন্টদের জন্য যথেষ্ট নয়?
- এজেন্টরা কখনই উত্তর দেয় না
- এজেন্টরা অনেক ধাপে কাজ করে এবং পার্শ্ব প্রতিক্রিয়া সৃষ্টি করে, তাই পথ এবং চূড়ান্ত অবস্থা ব্যাপার
- উত্তর সবসময় সঠিক হয়
- এজেন্ট কাজের জন্য রেফারেন্স উত্তর লেখা যাবে না
- SWE-বেঞ্চ কীভাবে বিচার করে যে একজন এজেন্ট একটি সমস্যা সমাধান করেছে কিনা?
- এজেন্টের প্যাচের পরে সংগ্রহস্থলের পরীক্ষা চালানোর মাধ্যমে
- গণনা করে লাইন পরিবর্তন করা হয়েছে
- এজেন্টকে জিজ্ঞাসা করে এটি সফল হয়েছে কিনা
- প্রতিক্রিয়া গতি পরিমাপ দ্বারা
- একটি পাস^k শৈলী মেট্রিক পরিমাপ কি?
- k টুল জুড়ে গতি
- k প্রচেষ্টার মধ্যে অন্তত একটিতে সাফল্য
- এজেন্ট k বারবার চেষ্টার প্রতিটিতে সফল হয় কিনা
- প্রতি ধাপে টোকেনের সংখ্যা
- কোন মাত্রা একটি এজেন্টকে পতাকাঙ্কিত করবে যেটি সফল হয় কিন্তু একটি পাঁচ-পদক্ষেপের কাজের জন্য পঞ্চাশটি পদক্ষেপ নেয়?
- কাজের সাফল্য
- নিরাপত্তা
- টুলের নামকরণ
- ট্র্যাজেক্টরি গুণমান
- মডেল-ভিত্তিক গ্রেডারের পরিচিত দুর্বলতা কী?
- তারা পাঠ্য পড়তে পারে না
- তারা পক্ষপাতদুষ্ট হতে পারে, উদাহরণস্বরূপ দীর্ঘ বা আত্মবিশ্বাসী উত্তরের দিকে, তাই তাদের মানব লেবেলের বিরুদ্ধে পরীক্ষা করা দরকার
- তারা সবসময় মানুষের তুলনায় ধীর হয়
- তারা শুধুমাত্র ইমেজ কাজ
- কেন প্রতি রান আগে একটি পরিচিত অবস্থায় পরিবেশ রিসেট?
- সুতরাং ফলাফল পুনরুত্পাদনযোগ্য এবং রান একে অপরকে প্রভাবিত করতে পারে না
- ডিস্কের জায়গা বাঁচাতে
- কারণ এজেন্টদের এটি শুরু করার প্রয়োজন হয়
- কাজগুলিকে আরও কঠিন করতে
- কেন পাবলিক লিডারবোর্ড স্কোর একটি দলকে বিভ্রান্ত করতে পারে?
- তারা সবসময় জাল হয়
- লিডারবোর্ড কখনই সংখ্যা প্রকাশ করে না
- বেঞ্চমার্কগুলি প্রশিক্ষণের ডেটা ফাঁস করতে পারে, পরিপূর্ণ হতে পারে বা আপনার কাজের চাপের সাথে মেলে না
- তারা শুধু খরচ পরিমাপ করে
- সেফটি ইভাল কীভাবে একটি দৌড়ের সাথে আচরণ করা উচিত যেখানে এজেন্ট কাজটি শেষ করেছে কিন্তু ডেটা ফাঁস করার জন্য একটি রোপিত নির্দেশ পালন করেছে?
- পূর্ণ সাফল্য হিসেবে
- অর্ধেক ক্রেডিট মূল্য একটি আংশিক সাফল্য হিসাবে
- এটা উপেক্ষা করা উচিত
- ব্যর্থতা হিসেবে