গাইড লিঙ্ক ক্যুইজ · মাঝারি স্তর
SWE-বেঞ্চ এবং কোডিং এজেন্ট বেঞ্চমার্ক কুইজ
SWE-বেঞ্চের কাজগুলি কীভাবে তৈরি করা হয়, FAIL_TO_PASS এবং PASS_TO_PASS স্কোরিং, লাইট এবং যাচাইকৃত উপসেট এবং কেন স্ক্যাফোল্ডগুলি ফলাফল পরিবর্তন করে তা পরীক্ষা করে।
প্রশ্ন 1 এর 8
একটি SWE-বেঞ্চ টাস্ক সিস্টেমকে কী করতে বলে?
প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন
আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।
- একটি SWE-বেঞ্চ টাস্ক সিস্টেমকে কী করতে বলে?
- একটি স্পেসিফিকেশন থেকে একটি নতুন লাইব্রেরি লিখুন
- একটি প্যাচ তৈরি করুন যা একটি Python সংগ্রহস্থলে একটি বাস্তব GitHub সমস্যা সমাধান করে
- কোড সম্পর্কে একাধিক-পছন্দের প্রশ্নের উত্তর দিন
- Python থেকে জাভাতে কোড অনুবাদ করুন
- FAIL_TO_PASS পরীক্ষা কি?
- পরীক্ষা যে সবসময় ব্যর্থ হয়
- পরীক্ষা করে এজেন্ট নিজেই লিখে
- স্কোর করার সময় যে টেস্টগুলি এড়িয়ে যায়
- পরীক্ষা যা মানুষের সংশোধনের আগে ব্যর্থ হয়েছে এবং এর পরে পাস করেছে
- PASS_TO_PASS পরীক্ষার ভূমিকা কী?
- প্যাচটি ইতিমধ্যে কাজ করেছে এমন আচরণ ভাঙেনি তা পরীক্ষা করা হচ্ছে
- প্যাচের কোড শৈলী পরীক্ষা করা হচ্ছে
- কত দ্রুত প্যাচ চলে তা পরিমাপ করা
- সমস্যা পাঠ্য যাচাই করা সঠিক
- SWE-বেঞ্চ যাচাই করা কি?
- 2,294টি কাজের সম্পূর্ণ সেট
- স্ক্রিনশট সহ JavaScript কাজের একটি সেট৷
- অস্পষ্ট সমস্যা এবং অন্যায্য পরীক্ষাগুলি অপসারণ করতে মানব প্রকৌশলীদের দ্বারা স্ক্রীন করা 500টি কাজ৷
- একটি ব্যক্তিগত পরীক্ষার সেট সর্বজনীনভাবে প্রকাশিত হয় না
- SWE-বেঞ্চ লাইটে কয়টি উদাহরণ রয়েছে?
- 164
- 300
- 500
- 2,294
- কেন একই মডেল খুব ভিন্ন SWE-বেঞ্চ স্কোর পেতে পারে?
- স্কোরগুলি স্ক্যাফোল্ডের উপর নির্ভর করে যা মডেলটিকে ব্রাউজ করতে, কমান্ড চালাতে এবং ফাইলগুলি সম্পাদনা করতে দেয়
- প্রতিটি রান এলোমেলোভাবে পরীক্ষাগুলি তৈরি করা হয়
- প্রতিটি মডেলের জন্য সংগ্রহস্থলগুলি আলাদা
- শুধুমাত্র মডেলের আকার স্কোর প্রভাবিত করে
- কোনটি আসল SWE-বেঞ্চের একটি বাস্তব সীমাবদ্ধতা?
- এর কোনো পরীক্ষা নেই
- এটি শুধুমাত্র সিন্থেটিক সমস্যা ব্যবহার করে
- এটি ডকারে চালানো যাবে না
- এটি শুধুমাত্র Python এবং প্রায় এক ডজন সংগ্রহস্থল থেকে আঁকা
- কাজ করার সময় এজেন্ট মূল্যায়ন পরীক্ষার প্যাচ দেখেন?
- হ্যাঁ, এটা ইস্যু টেক্সট অন্তর্ভুক্ত করা হয়েছে
- হ্যাঁ, কিন্তু শুধুমাত্র PASS_TO_PASS পরীক্ষা
- না, জোতা এজেন্টের প্যাচের পরে আলাদাভাবে পরীক্ষা প্যাচ প্রয়োগ করে
- না, কারণ SWE-বেঞ্চের কোনো পরীক্ষা নেই