পরবর্তী আপপরবর্তী গাইড
IFEval and Instruction-Following Benchmarks
টেকনিক্যাল
প্রযুক্তিগত গাইড
SWE-বেঞ্চ হল একটি বেঞ্চমার্ক যা পরীক্ষা করে যে একটি AI সিস্টেম Python কোডবেস সম্পাদনা করে বাস্তব GitHub সমস্যাগুলি সমাধান করতে পারে কিনা যাতে প্রকল্পের নিজস্ব পরীক্ষাগুলি পাস হয়৷
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min
এটি গুরুত্বপূর্ণ কারণ এটি কোডিং এজেন্টের সবচেয়ে উদ্ধৃত পরিমাপগুলির মধ্যে একটি, এবং এর স্কোরগুলি কীভাবে কাজ, এজেন্ট স্ক্যাফোল্ড এবং পরীক্ষা চেকগুলি কাজ করে তা না জেনেই অতিরিক্ত পড়া সহজ৷
2023 সালে প্রিন্সটনে কার্লোস জিমেনেজ এবং সহকর্মীরা SWE-বেঞ্চ প্রবর্তন করেছিলেন এবং ICLR 2024-এ প্রকাশিত হয়েছিল। এতে Django, scikit-learn, requests spymtli সহ 12টি ব্যাপকভাবে ব্যবহৃত Python সংগ্রহস্থল থেকে 2,294টি টাস্ক ইনস্ট্যান্স নেওয়া হয়েছে। প্রতিটি দৃষ্টান্ত একটি বাস্তব GitHub সমস্যাটিকে পুল অনুরোধের সাথে যুক্ত করে যা এটি ঠিক করেছে। পরীক্ষার অধীনে সিস্টেমটি সমস্যা পাঠ্য এবং সংগ্রহস্থলটি ঠিক করার আগে যেমন ছিল, এবং একটি প্যাচ তৈরি করতে হবে। স্কোরিং মূল পুল অনুরোধ থেকে পরীক্ষা ব্যবহার করে। FAIL_TO_PASS পরীক্ষাগুলি মানুষের সমাধানের আগে ব্যর্থ হয়েছে এবং এটির পরে পাস করেছে, তাই তারা পরীক্ষা করে দেখুন যে সমস্যাটি সমাধান হয়েছে৷ PASS_TO_PASS পরীক্ষাগুলি আগে এবং পরে উভয়ই পাস করেছে, তাই তারা পরীক্ষা করে দেখুন যে আর কিছুই ভাঙছে না। এই সবগুলি পাস করলেই একটি উদাহরণকে সমাধান করা হিসাবে গণনা করা হয় এবং শিরোনাম নম্বরটি সমাধান করা শতাংশ। লঞ্চের সময়, সেরা মডেলগুলি মাত্র কয়েক শতাংশ কাজ সমাধান করেছে। দুটি উপসেট গুরুত্বপূর্ণ। SWE-বেঞ্চ লাইটে 300টি দৃষ্টান্ত রয়েছে যা সস্তা এবং আরও স্বয়ংসম্পূর্ণ হতে বেছে নেওয়া হয়েছে। SWE-bench Verified, 2024 সালে OpenAI দ্বারা SWE-বেঞ্চ লেখকদের সাথে প্রকাশিত হয়েছে, 500টি উদাহরণ রয়েছে যা মানব প্রকৌশলীরা অস্পষ্ট সমস্যার বিবরণ বা পরীক্ষাগুলি সরানোর জন্য স্ক্রীন করেছেন যা বৈধ সমাধানগুলিকে প্রত্যাখ্যান করবে৷ যাচাই করা এখন সবচেয়ে বেশি উদ্ধৃত বিভাজন। স্কোরগুলি একটি মডেল এবং এর স্ক্যাফোল্ডকে প্রতিফলিত করে, প্রোগ্রাম যা এটি ফাইল ব্রাউজ করতে, কমান্ড চালাতে এবং কোড সম্পাদনা করতে দেয়। প্রিন্সটনের এসডব্লিউই-এজেন্ট এবং এজেন্টলেস পাইপলাইন, যা একটি ওপেন-এন্ডেড এজেন্ট লুপ ছাড়াই স্থানীয়করণ, মেরামত এবং যাচাই করে, সুপরিচিত উদাহরণ। একই মডেল বিভিন্ন স্ক্যাফোল্ডে খুব ভিন্নভাবে স্কোর করতে পারে। সাধারণ ভুল পাঠ: আসল সেটটি শুধুমাত্র Python এবং এক ডজন সংগ্রহস্থল কভার করে; পরীক্ষা পাস করা রক্ষণাবেক্ষণযোগ্য কোডের নিশ্চয়তা দেয় না; সংগ্রহস্থল এবং সংশোধনগুলি সর্বজনীন, তাই দূষণ সম্ভব; এবং বহু-প্রয়াসের ফলাফল একক-প্রয়াসের সাথে তুলনীয় নয়। সম্পর্কিত বেঞ্চমার্ক যেমন SWE-বেঞ্চ বহুভাষিক, SWE-ল্যান্সার এবং টার্মিনাল-বেঞ্চ প্রোব অন্যান্য ভাষা, ফ্রিল্যান্স কাজ এবং কমান্ড-লাইন কাজ।
একটি টাস্ক একজন এজেন্টকে হস্তান্তর করে একটি জ্যাঙ্গো সমস্যা যা ভুল আচরণের বর্ণনা দেয় এবং ফিক্স করার আগে প্রতিশ্রুতিতে সংগ্রহস্থলের একটি চেকআউট; এজেন্টকে অবশ্যই একটি প্যাচ লিখতে হবে, যা তারপরে পরীক্ষার দ্বারা বিচার করা হয় যা আসল মানব ফিক্স পাস করেছে।
একজন বিক্রেতা তার নিজস্ব এজেন্ট জোতা ব্যবহার করে একটি SWE-বেঞ্চ যাচাইকৃত স্কোর এবং প্রতি টাস্কে বেশ কয়েকটি প্রচেষ্টার রিপোর্ট করে; একজন ক্রেতাকে অন্য বিক্রেতার নম্বরের সাথে তুলনা করার আগে এটি একটি একক প্রচেষ্টার ফলাফল কিনা তা নিশ্চিত করা উচিত।
একটি ইঞ্জিনিয়ারিং দল তার নিজস্ব ব্যক্তিগত সংগ্রহস্থল থেকে একটি অভ্যন্তরীণ SWE-বেঞ্চ-স্টাইল সেট তৈরি করে এবং টিকিটগুলি সমাধান করে তা পরীক্ষা করার জন্য যে কোনও এজেন্ট সর্বজনীনভাবে ভাল র্যাঙ্ক করে আসলে তাদের কোডে কাজ করে কিনা।
গবেষকরা SWE-বেঞ্চ মাল্টিমোডাল ব্যবহার করেন, যেখানে সমস্যাগুলি JavaScript ফ্রন্ট-এন্ড প্রজেক্ট থেকে আসে এবং প্রায়শই ভিজ্যুয়াল বাগগুলির স্ক্রিনশট অন্তর্ভুক্ত করে, দক্ষতা পরীক্ষা করার জন্য Python-কে শুধুমাত্র আসল পরিমাপ করতে পারে না।
এসডব্লিউই-বেঞ্চ ভেরিফাইয়ে শীর্ষ স্কোর বেড়ে যাওয়ায়, বেঞ্চমার্ক লিডিং সিস্টেমগুলিকে কম স্পষ্টভাবে আলাদা করে, এবং মনোযোগ নতুন টাস্ক সেটের দিকে চলে যাচ্ছে নতুন সমস্যা, আরও প্রোগ্রামিং ভাষা, দীর্ঘ বহু-পদক্ষেপ কাজ এবং খরচ এবং নির্ভরযোগ্যতার রিপোর্টিং। দূষণ একটি দীর্ঘস্থায়ী উদ্বেগ কারণ উত্স সংগ্রহস্থলগুলি সর্বজনীন, যা সাম্প্রতিক কাজগুলি যুক্ত করে এমন বেঞ্চমার্কের পক্ষে। টুল বাছাইকারী দলগুলির জন্য, পাবলিক লিডারবোর্ড হল একটি সূচনা বিন্দু; তাদের নিজস্ব কোডবেস এবং টিকিটে পরীক্ষাকারী এজেন্ট সবচেয়ে নির্ভরযোগ্য সংকেত।
ফ্রি নিউজলেটার
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
SWE-বেঞ্চ হল একটি বেঞ্চমার্ক যা পরীক্ষা করে যে একটি AI সিস্টেম Python কোডবেস সম্পাদনা করে বাস্তব GitHub সমস্যাগুলি সমাধান করতে পারে কিনা যাতে প্রকল্পের নিজস্ব পরীক্ষাগুলি পাস হয়৷ এটি গুরুত্বপূর্ণ কারণ এটি কোডিং এজেন্টের সবচেয়ে উদ্ধৃত পরিমাপগুলির মধ্যে একটি, এবং এর স্কোরগুলি কীভাবে কাজ, এজেন্ট স্ক্যাফোল্ড এবং পরীক্ষা চেকগুলি কাজ করে তা না জেনেই অতিরিক্ত পড়া সহজ৷
প্রতিটি উদাহরণ একটি রিপোজিটরি স্ন্যাপশটের সাথে একটি বাস্তব সমস্যা যুক্ত করে এবং সিস্টেমটিকে অবশ্যই একটি কোড প্যাচ তৈরি করতে হবে যা এটিকে ঠিক করে।
তারা নিশ্চিত করে যে সমস্যাটি আসলে সমাধান করা হয়েছে, যেহেতু তারা কেবল তখনই পাস করে যখন সমাধান করা হয়।
তারা মানব সংশোধনের আগে এবং পরে পাস করেছে, তাই তারা এজেন্টের প্যাচ দ্বারা প্রবর্তিত রিগ্রেশনের বিরুদ্ধে রক্ষা করে।
যাচাই করা হয়েছে 2024 সালে OpenAI দ্বারা SWE-বেঞ্চ লেখকদের সাথে, এমন কাজগুলিকে ফিল্টার করে যা অনির্দিষ্ট ছিল বা বৈধ সমাধানগুলি প্রত্যাখ্যান করা পরীক্ষা ছিল৷
লাইট হল একটি 300-ইনস্ট্যান্স উপসেট যা সস্তা এবং আরও স্বয়ংসম্পূর্ণ হতে বেছে নেওয়া হয়েছে।
শিখতে থাকুন
এই বিষয়ের জন্য বাছাই করা আরও গাইড
পরবর্তী আপপরবর্তী গাইড
IFEval and Instruction-Following Benchmarks
টেকনিক্যাল