প্রযুক্তিগত গাইড

SWE-বেঞ্চ এবং কোডিং এজেন্ট বেঞ্চমার্ক

SWE-বেঞ্চ হল একটি বেঞ্চমার্ক যা পরীক্ষা করে যে একটি AI সিস্টেম Python কোডবেস সম্পাদনা করে বাস্তব GitHub সমস্যাগুলি সমাধান করতে পারে কিনা যাতে প্রকল্পের নিজস্ব পরীক্ষাগুলি পাস হয়৷

এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min

এই পৃষ্ঠায়4 মিনিট পড়া
  1. ওভারভিউ
  2. গভীর ডুব
  3. বাস্তব-বিশ্ব বাস্তবায়ন
  4. SWE-বেঞ্চ এবং কোডিং এজেন্ট বেঞ্চমার্কের ভবিষ্যত
  5. এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
  6. অন্বেষণ চালিয়ে যান
  7. প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

ওভারভিউ

এটি গুরুত্বপূর্ণ কারণ এটি কোডিং এজেন্টের সবচেয়ে উদ্ধৃত পরিমাপগুলির মধ্যে একটি, এবং এর স্কোরগুলি কীভাবে কাজ, এজেন্ট স্ক্যাফোল্ড এবং পরীক্ষা চেকগুলি কাজ করে তা না জেনেই অতিরিক্ত পড়া সহজ৷

গভীর ডুব

2023 সালে প্রিন্সটনে কার্লোস জিমেনেজ এবং সহকর্মীরা SWE-বেঞ্চ প্রবর্তন করেছিলেন এবং ICLR 2024-এ প্রকাশিত হয়েছিল। এতে Django, scikit-learn, requests spymtli সহ 12টি ব্যাপকভাবে ব্যবহৃত Python সংগ্রহস্থল থেকে 2,294টি টাস্ক ইনস্ট্যান্স নেওয়া হয়েছে। প্রতিটি দৃষ্টান্ত একটি বাস্তব GitHub সমস্যাটিকে পুল অনুরোধের সাথে যুক্ত করে যা এটি ঠিক করেছে। পরীক্ষার অধীনে সিস্টেমটি সমস্যা পাঠ্য এবং সংগ্রহস্থলটি ঠিক করার আগে যেমন ছিল, এবং একটি প্যাচ তৈরি করতে হবে। স্কোরিং মূল পুল অনুরোধ থেকে পরীক্ষা ব্যবহার করে। FAIL_TO_PASS পরীক্ষাগুলি মানুষের সমাধানের আগে ব্যর্থ হয়েছে এবং এটির পরে পাস করেছে, তাই তারা পরীক্ষা করে দেখুন যে সমস্যাটি সমাধান হয়েছে৷ PASS_TO_PASS পরীক্ষাগুলি আগে এবং পরে উভয়ই পাস করেছে, তাই তারা পরীক্ষা করে দেখুন যে আর কিছুই ভাঙছে না। এই সবগুলি পাস করলেই একটি উদাহরণকে সমাধান করা হিসাবে গণনা করা হয় এবং শিরোনাম নম্বরটি সমাধান করা শতাংশ। লঞ্চের সময়, সেরা মডেলগুলি মাত্র কয়েক শতাংশ কাজ সমাধান করেছে। দুটি উপসেট গুরুত্বপূর্ণ। SWE-বেঞ্চ লাইটে 300টি দৃষ্টান্ত রয়েছে যা সস্তা এবং আরও স্বয়ংসম্পূর্ণ হতে বেছে নেওয়া হয়েছে। SWE-bench Verified, 2024 সালে OpenAI দ্বারা SWE-বেঞ্চ লেখকদের সাথে প্রকাশিত হয়েছে, 500টি উদাহরণ রয়েছে যা মানব প্রকৌশলীরা অস্পষ্ট সমস্যার বিবরণ বা পরীক্ষাগুলি সরানোর জন্য স্ক্রীন করেছেন যা বৈধ সমাধানগুলিকে প্রত্যাখ্যান করবে৷ যাচাই করা এখন সবচেয়ে বেশি উদ্ধৃত বিভাজন। স্কোরগুলি একটি মডেল এবং এর স্ক্যাফোল্ডকে প্রতিফলিত করে, প্রোগ্রাম যা এটি ফাইল ব্রাউজ করতে, কমান্ড চালাতে এবং কোড সম্পাদনা করতে দেয়। প্রিন্সটনের এসডব্লিউই-এজেন্ট এবং এজেন্টলেস পাইপলাইন, যা একটি ওপেন-এন্ডেড এজেন্ট লুপ ছাড়াই স্থানীয়করণ, মেরামত এবং যাচাই করে, সুপরিচিত উদাহরণ। একই মডেল বিভিন্ন স্ক্যাফোল্ডে খুব ভিন্নভাবে স্কোর করতে পারে। সাধারণ ভুল পাঠ: আসল সেটটি শুধুমাত্র Python এবং এক ডজন সংগ্রহস্থল কভার করে; পরীক্ষা পাস করা রক্ষণাবেক্ষণযোগ্য কোডের নিশ্চয়তা দেয় না; সংগ্রহস্থল এবং সংশোধনগুলি সর্বজনীন, তাই দূষণ সম্ভব; এবং বহু-প্রয়াসের ফলাফল একক-প্রয়াসের সাথে তুলনীয় নয়। সম্পর্কিত বেঞ্চমার্ক যেমন SWE-বেঞ্চ বহুভাষিক, SWE-ল্যান্সার এবং টার্মিনাল-বেঞ্চ প্রোব অন্যান্য ভাষা, ফ্রিল্যান্স কাজ এবং কমান্ড-লাইন কাজ।

বাস্তব-বিশ্ব বাস্তবায়ন

একটি টাস্ক একজন এজেন্টকে হস্তান্তর করে একটি জ্যাঙ্গো সমস্যা যা ভুল আচরণের বর্ণনা দেয় এবং ফিক্স করার আগে প্রতিশ্রুতিতে সংগ্রহস্থলের একটি চেকআউট; এজেন্টকে অবশ্যই একটি প্যাচ লিখতে হবে, যা তারপরে পরীক্ষার দ্বারা বিচার করা হয় যা আসল মানব ফিক্স পাস করেছে।

একজন বিক্রেতা তার নিজস্ব এজেন্ট জোতা ব্যবহার করে একটি SWE-বেঞ্চ যাচাইকৃত স্কোর এবং প্রতি টাস্কে বেশ কয়েকটি প্রচেষ্টার রিপোর্ট করে; একজন ক্রেতাকে অন্য বিক্রেতার নম্বরের সাথে তুলনা করার আগে এটি একটি একক প্রচেষ্টার ফলাফল কিনা তা নিশ্চিত করা উচিত।

একটি ইঞ্জিনিয়ারিং দল তার নিজস্ব ব্যক্তিগত সংগ্রহস্থল থেকে একটি অভ্যন্তরীণ SWE-বেঞ্চ-স্টাইল সেট তৈরি করে এবং টিকিটগুলি সমাধান করে তা পরীক্ষা করার জন্য যে কোনও এজেন্ট সর্বজনীনভাবে ভাল র‌্যাঙ্ক করে আসলে তাদের কোডে কাজ করে কিনা।

গবেষকরা SWE-বেঞ্চ মাল্টিমোডাল ব্যবহার করেন, যেখানে সমস্যাগুলি JavaScript ফ্রন্ট-এন্ড প্রজেক্ট থেকে আসে এবং প্রায়শই ভিজ্যুয়াল বাগগুলির স্ক্রিনশট অন্তর্ভুক্ত করে, দক্ষতা পরীক্ষা করার জন্য Python-কে শুধুমাত্র আসল পরিমাপ করতে পারে না।

SWE-বেঞ্চ এবং কোডিং এজেন্ট বেঞ্চমার্কের ভবিষ্যত

এসডব্লিউই-বেঞ্চ ভেরিফাইয়ে শীর্ষ স্কোর বেড়ে যাওয়ায়, বেঞ্চমার্ক লিডিং সিস্টেমগুলিকে কম স্পষ্টভাবে আলাদা করে, এবং মনোযোগ নতুন টাস্ক সেটের দিকে চলে যাচ্ছে নতুন সমস্যা, আরও প্রোগ্রামিং ভাষা, দীর্ঘ বহু-পদক্ষেপ কাজ এবং খরচ এবং নির্ভরযোগ্যতার রিপোর্টিং। দূষণ একটি দীর্ঘস্থায়ী উদ্বেগ কারণ উত্স সংগ্রহস্থলগুলি সর্বজনীন, যা সাম্প্রতিক কাজগুলি যুক্ত করে এমন বেঞ্চমার্কের পক্ষে। টুল বাছাইকারী দলগুলির জন্য, পাবলিক লিডারবোর্ড হল একটি সূচনা বিন্দু; তাদের নিজস্ব কোডবেস এবং টিকিটে পরীক্ষাকারী এজেন্ট সবচেয়ে নির্ভরযোগ্য সংকেত।

এটাকে বাস্তবে প্রয়োগ করা হচ্ছে

কেন এটা গুরুত্বপূর্ণ

  • খরচ ও বাজেট. আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
  • সুস্পষ্ট সিদ্ধান্ত. কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
  • মান নিয়ন্ত্রণ. ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।

জন্য সতর্ক

  • একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
  • অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
  • সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।

পরবর্তী পদক্ষেপ

  1. বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
  2. বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
  3. ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
  4. স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।

অন্বেষণ চালিয়ে যান

ফ্রি নিউজলেটার

প্রতিদিনের এআই ব্রিফিং পান

প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।

প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।

নিজেকে পরীক্ষা করুন

Take the SWE-bench and Coding Agent Benchmarks quiz

প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।

কুইজ শুরু করুন

ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন

প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

SWE-বেঞ্চ এবং কোডিং এজেন্ট বেঞ্চমার্ক কি?

SWE-বেঞ্চ হল একটি বেঞ্চমার্ক যা পরীক্ষা করে যে একটি AI সিস্টেম Python কোডবেস সম্পাদনা করে বাস্তব GitHub সমস্যাগুলি সমাধান করতে পারে কিনা যাতে প্রকল্পের নিজস্ব পরীক্ষাগুলি পাস হয়৷ এটি গুরুত্বপূর্ণ কারণ এটি কোডিং এজেন্টের সবচেয়ে উদ্ধৃত পরিমাপগুলির মধ্যে একটি, এবং এর স্কোরগুলি কীভাবে কাজ, এজেন্ট স্ক্যাফোল্ড এবং পরীক্ষা চেকগুলি কাজ করে তা না জেনেই অতিরিক্ত পড়া সহজ৷

একটি SWE-বেঞ্চ টাস্ক সিস্টেমকে কী করতে বলে?

প্রতিটি উদাহরণ একটি রিপোজিটরি স্ন্যাপশটের সাথে একটি বাস্তব সমস্যা যুক্ত করে এবং সিস্টেমটিকে অবশ্যই একটি কোড প্যাচ তৈরি করতে হবে যা এটিকে ঠিক করে।

FAIL_TO_PASS পরীক্ষা কি?

তারা নিশ্চিত করে যে সমস্যাটি আসলে সমাধান করা হয়েছে, যেহেতু তারা কেবল তখনই পাস করে যখন সমাধান করা হয়।

PASS_TO_PASS পরীক্ষার ভূমিকা কী?

তারা মানব সংশোধনের আগে এবং পরে পাস করেছে, তাই তারা এজেন্টের প্যাচ দ্বারা প্রবর্তিত রিগ্রেশনের বিরুদ্ধে রক্ষা করে।

SWE-বেঞ্চ যাচাই করা কি?

যাচাই করা হয়েছে 2024 সালে OpenAI দ্বারা SWE-বেঞ্চ লেখকদের সাথে, এমন কাজগুলিকে ফিল্টার করে যা অনির্দিষ্ট ছিল বা বৈধ সমাধানগুলি প্রত্যাখ্যান করা পরীক্ষা ছিল৷

SWE-বেঞ্চ লাইটে কয়টি উদাহরণ রয়েছে?

লাইট হল একটি 300-ইনস্ট্যান্স উপসেট যা সস্তা এবং আরও স্বয়ংসম্পূর্ণ হতে বেছে নেওয়া হয়েছে।

শিখতে থাকুন

সম্পর্কিত গাইড

এই বিষয়ের জন্য বাছাই করা আরও গাইড

একটি বিনামূল্যে AI শংসাপত্র পানএকটি সংক্ষিপ্ত বিনামূল্যে কোর্স এবং পরীক্ষা. কোনো খরচ নেই, কোনো কার্ড নেই। প্রায় 2.5 ঘন্টা।বিনামূল্যে শুরু করুন →