গাইড লিঙ্ক ক্যুইজ · মাঝারি স্তর

SWE-বেঞ্চ এবং কোডিং এজেন্ট বেঞ্চমার্ক কুইজ

SWE-বেঞ্চের কাজগুলি কীভাবে তৈরি করা হয়, FAIL_TO_PASS এবং PASS_TO_PASS স্কোরিং, লাইট এবং যাচাইকৃত উপসেট এবং কেন স্ক্যাফোল্ডগুলি ফলাফল পরিবর্তন করে তা পরীক্ষা করে।

প্রশ্ন 1 এর 8

একটি SWE-বেঞ্চ টাস্ক সিস্টেমকে কী করতে বলে?

প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

  1. একটি SWE-বেঞ্চ টাস্ক সিস্টেমকে কী করতে বলে?
    • একটি স্পেসিফিকেশন থেকে একটি নতুন লাইব্রেরি লিখুন
    • একটি প্যাচ তৈরি করুন যা একটি Python সংগ্রহস্থলে একটি বাস্তব GitHub সমস্যা সমাধান করে
    • কোড সম্পর্কে একাধিক-পছন্দের প্রশ্নের উত্তর দিন
    • Python থেকে জাভাতে কোড অনুবাদ করুন
  2. FAIL_TO_PASS পরীক্ষা কি?
    • পরীক্ষা যে সবসময় ব্যর্থ হয়
    • পরীক্ষা করে এজেন্ট নিজেই লিখে
    • স্কোর করার সময় যে টেস্টগুলি এড়িয়ে যায়
    • পরীক্ষা যা মানুষের সংশোধনের আগে ব্যর্থ হয়েছে এবং এর পরে পাস করেছে
  3. PASS_TO_PASS পরীক্ষার ভূমিকা কী?
    • প্যাচটি ইতিমধ্যে কাজ করেছে এমন আচরণ ভাঙেনি তা পরীক্ষা করা হচ্ছে
    • প্যাচের কোড শৈলী পরীক্ষা করা হচ্ছে
    • কত দ্রুত প্যাচ চলে তা পরিমাপ করা
    • সমস্যা পাঠ্য যাচাই করা সঠিক
  4. SWE-বেঞ্চ যাচাই করা কি?
    • 2,294টি কাজের সম্পূর্ণ সেট
    • স্ক্রিনশট সহ JavaScript কাজের একটি সেট৷
    • অস্পষ্ট সমস্যা এবং অন্যায্য পরীক্ষাগুলি অপসারণ করতে মানব প্রকৌশলীদের দ্বারা স্ক্রীন করা 500টি কাজ৷
    • একটি ব্যক্তিগত পরীক্ষার সেট সর্বজনীনভাবে প্রকাশিত হয় না
  5. SWE-বেঞ্চ লাইটে কয়টি উদাহরণ রয়েছে?
    • 164
    • 300
    • 500
    • 2,294
  6. কেন একই মডেল খুব ভিন্ন SWE-বেঞ্চ স্কোর পেতে পারে?
    • স্কোরগুলি স্ক্যাফোল্ডের উপর নির্ভর করে যা মডেলটিকে ব্রাউজ করতে, কমান্ড চালাতে এবং ফাইলগুলি সম্পাদনা করতে দেয়
    • প্রতিটি রান এলোমেলোভাবে পরীক্ষাগুলি তৈরি করা হয়
    • প্রতিটি মডেলের জন্য সংগ্রহস্থলগুলি আলাদা
    • শুধুমাত্র মডেলের আকার স্কোর প্রভাবিত করে
  7. কোনটি আসল SWE-বেঞ্চের একটি বাস্তব সীমাবদ্ধতা?
    • এর কোনো পরীক্ষা নেই
    • এটি শুধুমাত্র সিন্থেটিক সমস্যা ব্যবহার করে
    • এটি ডকারে চালানো যাবে না
    • এটি শুধুমাত্র Python এবং প্রায় এক ডজন সংগ্রহস্থল থেকে আঁকা
  8. কাজ করার সময় এজেন্ট মূল্যায়ন পরীক্ষার প্যাচ দেখেন?
    • হ্যাঁ, এটা ইস্যু টেক্সট অন্তর্ভুক্ত করা হয়েছে
    • হ্যাঁ, কিন্তু শুধুমাত্র PASS_TO_PASS পরীক্ষা
    • না, জোতা এজেন্টের প্যাচের পরে আলাদাভাবে পরীক্ষা প্যাচ প্রয়োগ করে
    • না, কারণ SWE-বেঞ্চের কোনো পরীক্ষা নেই