SeterusnyaPanduan seterusnya
IFEval and Instruction-Following Benchmarks
Teknikal
PANDUAN Teknikal
SWE-bench ialah penanda aras yang menguji sama ada sistem AI boleh menyelesaikan isu GitHub sebenar dengan mengedit pangkalan kod Python supaya ujian projek itu sendiri lulus.
Dengar panduan iniAI-diceritakan · ~3 min
Ini penting kerana ia adalah salah satu ukuran ejen pengekodan yang paling banyak disebut, dan markahnya mudah dibaca berlebihan tanpa mengetahui cara tugas, perancah ejen dan semakan ujian berfungsi.
SWE-bench telah diperkenalkan oleh Carlos Jimenez dan rakan sekerja di Princeton pada 2023 dan diterbitkan di ICLR 2024. Ia mengandungi 2,294 contoh tugasan yang diambil daripada 12 repositori Python yang digunakan secara meluas, termasuk Django, scikit-learn, sympy, matplotlib. Setiap kejadian menggandingkan isu GitHub sebenar dengan permintaan tarik yang membetulkannya. Sistem yang diuji menerima teks isu dan repositori seperti sebelum pembetulan, dan mesti menghasilkan tampung. Pemarkahan menggunakan ujian daripada permintaan tarik asal. FAIL_TO_PASS ujian gagal sebelum pembetulan manusia dan lulus selepasnya, jadi mereka menyemak sama ada isu itu telah diselesaikan. Ujian LULUS_TO_LULUS lulus sebelum dan selepas, jadi mereka menyemak bahawa tiada apa-apa lagi yang rosak. Satu kejadian dikira sebagai diselesaikan hanya jika semua ini lulus, dan nombor tajuk ialah peratusan yang diselesaikan. Semasa pelancaran, model terbaik menyelesaikan hanya beberapa peratus tugas. Dua subset penting. SWE-bench Lite mempunyai 300 contoh yang dipilih untuk menjadi lebih murah dan lebih serba lengkap. SWE-bench Verified, dikeluarkan pada tahun 2024 oleh OpenAI dengan pengarang SWE-bench, mempunyai 500 kejadian yang ditapis oleh jurutera manusia untuk mengalih keluar penerangan atau ujian isu yang tidak jelas yang akan menolak penyelesaian yang sah. Disahkan kini merupakan perpecahan yang paling biasa disebut. Skor mencerminkan model ditambah perancahnya, program yang membolehkannya menyemak imbas fail, menjalankan arahan dan mengedit kod. Ejen SWE daripada Princeton dan saluran paip Agentless, yang menyetempatkan, membaiki dan mengesahkan tanpa gelung ejen terbuka, adalah contoh yang terkenal. Model yang sama boleh mendapat markah yang sangat berbeza dalam perancah yang berbeza. Salah baca biasa: set asal ialah Python sahaja dan meliputi sedozen repositori; lulus ujian tidak menjamin kod yang boleh diselenggara; repositori dan pembaikan adalah awam, jadi pencemaran mungkin berlaku; dan keputusan berbilang percubaan tidak setanding dengan percubaan tunggal. Penanda aras yang berkaitan seperti SWE-bench Multilingual, SWE-Lancer dan Terminal-Bench probe bahasa lain, tugas bebas dan kerja baris arahan.
Tugasan menyerahkan kepada ejen isu Django yang menerangkan tingkah laku yang salah serta pembayaran repositori di komit sebelum pembetulan; ejen mesti menulis tampalan, yang kemudiannya dinilai oleh ujian yang dibuat oleh pembetulan manusia asal.
Seorang vendor melaporkan skor SWE-bench Verified menggunakan abah-abah ejennya sendiri dan beberapa percubaan setiap tugas; pembeli harus mengesahkan sama ada ia adalah hasil percubaan tunggal sebelum membandingkannya dengan nombor vendor lain.
Pasukan kejuruteraan membina set gaya bangku SWE dalaman daripada repositori peribadinya sendiri dan menyelesaikan tiket untuk menyemak sama ada ejen yang mempunyai kedudukan yang baik secara terbuka benar-benar berfungsi pada kod mereka.
Penyelidik menggunakan Multimodal bangku SWE, di mana isu datang daripada projek bahagian hadapan JavaScript dan selalunya menyertakan tangkapan skrin pepijat visual, untuk menguji kemahiran yang tidak dapat diukur oleh asal Python sahaja.
Apabila markah tertinggi pada SWE-bench Verified meningkat, penanda aras memisahkan sistem terkemuka dengan kurang jelas, dan perhatian sedang beralih ke set tugasan yang lebih baharu dengan isu yang lebih segar, lebih banyak bahasa pengaturcaraan, kerja berbilang langkah yang lebih lama dan pelaporan kos dan kebolehpercayaan. Pencemaran adalah kebimbangan yang berkekalan kerana repositori sumber adalah awam, yang memihak kepada penanda aras yang menambah tugasan terkini. Untuk pasukan yang memilih alatan, papan pendahulu awam adalah titik permulaan; ejen ujian pada pangkalan kod mereka sendiri dan tiket kekal sebagai isyarat yang paling boleh dipercayai.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
SWE-bench ialah penanda aras yang menguji sama ada sistem AI boleh menyelesaikan isu GitHub sebenar dengan mengedit pangkalan kod Python supaya ujian projek itu sendiri lulus. Ini penting kerana ia adalah salah satu ukuran ejen pengekodan yang paling banyak disebut, dan markahnya mudah dibaca berlebihan tanpa mengetahui cara tugas, perancah ejen dan semakan ujian berfungsi.
Setiap kejadian memasangkan isu sebenar dengan petikan repositori dan sistem mesti menjana tampung kod yang membetulkannya.
Mereka mengesahkan bahawa isu itu benar-benar telah diselesaikan, kerana mereka hanya lulus apabila pembetulan selesai.
Mereka lulus sebelum dan selepas pembaikan manusia, jadi mereka berjaga-jaga terhadap regresi yang diperkenalkan oleh patch ejen.
Disahkan telah dikeluarkan pada tahun 2024 oleh OpenAI dengan pengarang bangku SWE, menapis tugas yang kurang dinyatakan atau mempunyai ujian yang menolak penyelesaian yang sah.
Lite ialah subset 300 contoh yang dipilih untuk menjadi lebih murah dan lebih serba lengkap.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
IFEval and Instruction-Following Benchmarks
Teknikal