PANDUAN Teknikal

SWE-bench dan Penanda Aras Agen Pengekodan

SWE-bench ialah penanda aras yang menguji sama ada sistem AI boleh menyelesaikan isu GitHub sebenar dengan mengedit pangkalan kod Python supaya ujian projek itu sendiri lulus.

Dengar panduan iniAI-diceritakan · ~3 min

Pada halaman ini4 minit membaca
  1. Gambaran keseluruhan
  2. Menyelam dalam
  3. Pelaksanaan Dunia Sebenar
  4. Masa Depan SWE-bench dan Penanda Aras Agen Pengekodan
  5. Mempraktikkannya
  6. Teruskan Meneroka
  7. Soalan lazim

Gambaran keseluruhan

Ini penting kerana ia adalah salah satu ukuran ejen pengekodan yang paling banyak disebut, dan markahnya mudah dibaca berlebihan tanpa mengetahui cara tugas, perancah ejen dan semakan ujian berfungsi.

Menyelam dalam

SWE-bench telah diperkenalkan oleh Carlos Jimenez dan rakan sekerja di Princeton pada 2023 dan diterbitkan di ICLR 2024. Ia mengandungi 2,294 contoh tugasan yang diambil daripada 12 repositori Python yang digunakan secara meluas, termasuk Django, scikit-learn, sympy, matplotlib. Setiap kejadian menggandingkan isu GitHub sebenar dengan permintaan tarik yang membetulkannya. Sistem yang diuji menerima teks isu dan repositori seperti sebelum pembetulan, dan mesti menghasilkan tampung. Pemarkahan menggunakan ujian daripada permintaan tarik asal. FAIL_TO_PASS ujian gagal sebelum pembetulan manusia dan lulus selepasnya, jadi mereka menyemak sama ada isu itu telah diselesaikan. Ujian LULUS_TO_LULUS lulus sebelum dan selepas, jadi mereka menyemak bahawa tiada apa-apa lagi yang rosak. Satu kejadian dikira sebagai diselesaikan hanya jika semua ini lulus, dan nombor tajuk ialah peratusan yang diselesaikan. Semasa pelancaran, model terbaik menyelesaikan hanya beberapa peratus tugas. Dua subset penting. SWE-bench Lite mempunyai 300 contoh yang dipilih untuk menjadi lebih murah dan lebih serba lengkap. SWE-bench Verified, dikeluarkan pada tahun 2024 oleh OpenAI dengan pengarang SWE-bench, mempunyai 500 kejadian yang ditapis oleh jurutera manusia untuk mengalih keluar penerangan atau ujian isu yang tidak jelas yang akan menolak penyelesaian yang sah. Disahkan kini merupakan perpecahan yang paling biasa disebut. Skor mencerminkan model ditambah perancahnya, program yang membolehkannya menyemak imbas fail, menjalankan arahan dan mengedit kod. Ejen SWE daripada Princeton dan saluran paip Agentless, yang menyetempatkan, membaiki dan mengesahkan tanpa gelung ejen terbuka, adalah contoh yang terkenal. Model yang sama boleh mendapat markah yang sangat berbeza dalam perancah yang berbeza. Salah baca biasa: set asal ialah Python sahaja dan meliputi sedozen repositori; lulus ujian tidak menjamin kod yang boleh diselenggara; repositori dan pembaikan adalah awam, jadi pencemaran mungkin berlaku; dan keputusan berbilang percubaan tidak setanding dengan percubaan tunggal. Penanda aras yang berkaitan seperti SWE-bench Multilingual, SWE-Lancer dan Terminal-Bench probe bahasa lain, tugas bebas dan kerja baris arahan.

Pelaksanaan Dunia Sebenar

Tugasan menyerahkan kepada ejen isu Django yang menerangkan tingkah laku yang salah serta pembayaran repositori di komit sebelum pembetulan; ejen mesti menulis tampalan, yang kemudiannya dinilai oleh ujian yang dibuat oleh pembetulan manusia asal.

Seorang vendor melaporkan skor SWE-bench Verified menggunakan abah-abah ejennya sendiri dan beberapa percubaan setiap tugas; pembeli harus mengesahkan sama ada ia adalah hasil percubaan tunggal sebelum membandingkannya dengan nombor vendor lain.

Pasukan kejuruteraan membina set gaya bangku SWE dalaman daripada repositori peribadinya sendiri dan menyelesaikan tiket untuk menyemak sama ada ejen yang mempunyai kedudukan yang baik secara terbuka benar-benar berfungsi pada kod mereka.

Penyelidik menggunakan Multimodal bangku SWE, di mana isu datang daripada projek bahagian hadapan JavaScript dan selalunya menyertakan tangkapan skrin pepijat visual, untuk menguji kemahiran yang tidak dapat diukur oleh asal Python sahaja.

Masa Depan SWE-bench dan Penanda Aras Agen Pengekodan

Apabila markah tertinggi pada SWE-bench Verified meningkat, penanda aras memisahkan sistem terkemuka dengan kurang jelas, dan perhatian sedang beralih ke set tugasan yang lebih baharu dengan isu yang lebih segar, lebih banyak bahasa pengaturcaraan, kerja berbilang langkah yang lebih lama dan pelaporan kos dan kebolehpercayaan. Pencemaran adalah kebimbangan yang berkekalan kerana repositori sumber adalah awam, yang memihak kepada penanda aras yang menambah tugasan terkini. Untuk pasukan yang memilih alatan, papan pendahulu awam adalah titik permulaan; ejen ujian pada pangkalan kod mereka sendiri dan tiket kekal sebagai isyarat yang paling boleh dipercayai.

Mempraktikkannya

Mengapa ia penting

  • Kos dan bajet. Keputusan seni bina memacu prestasi dan kos operasi selama bertahun-tahun.
  • Keputusan yang lebih jelas. Pendidikan teknikal membantu pasukan memilih timbunan yang betul, bukan hanya yang terbaharu.
  • Kawalan kualiti. Pilihan kejuruteraan yang lebih baik mengurangkan insiden kebolehpercayaan dalam pengeluaran.

Berhati-hati untuk

  • Mengoptimumkan satu penanda aras boleh menyembunyikan kelemahan sistem yang lebih luas.
  • Kos infrastruktur dan penyelenggaraan sering dipandang remeh.
  • Jurang keselamatan dan pemerhatian boleh berkembang apabila sistem menjadi lebih kompleks.

Langkah seterusnya

  1. Tentukan sasaran kependaman, kualiti dan kos sebelum pelaksanaan.
  2. Penanda aras di bawah beban realistik dan keadaan data.
  3. Pemantauan instrumen untuk ralat, drift dan kesan pengguna.
  4. Sediakan laluan balik dan tindak balas insiden sebelum penskalaan.

Teruskan Meneroka

Newsletter percuma

Dapatkan taklimat AI harian

Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.

Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.

Uji diri anda

Take the SWE-bench and Coding Agent Benchmarks quiz

Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.

Mulakan kuiz

Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma

Soalan lazim

Apakah itu SWE-bench dan Penanda Aras Agen Pengekodan?

SWE-bench ialah penanda aras yang menguji sama ada sistem AI boleh menyelesaikan isu GitHub sebenar dengan mengedit pangkalan kod Python supaya ujian projek itu sendiri lulus. Ini penting kerana ia adalah salah satu ukuran ejen pengekodan yang paling banyak disebut, dan markahnya mudah dibaca berlebihan tanpa mengetahui cara tugas, perancah ejen dan semakan ujian berfungsi.

Apakah tugasan bangku SWE yang meminta sistem lakukan?

Setiap kejadian memasangkan isu sebenar dengan petikan repositori dan sistem mesti menjana tampung kod yang membetulkannya.

Apakah ujian FAIL_TO_PASS?

Mereka mengesahkan bahawa isu itu benar-benar telah diselesaikan, kerana mereka hanya lulus apabila pembetulan selesai.

Apakah peranan ujian PASS_TO_PASS?

Mereka lulus sebelum dan selepas pembaikan manusia, jadi mereka berjaga-jaga terhadap regresi yang diperkenalkan oleh patch ejen.

Apakah SWE-bench Verified?

Disahkan telah dikeluarkan pada tahun 2024 oleh OpenAI dengan pengarang bangku SWE, menapis tugas yang kurang dinyatakan atau mempunyai ujian yang menolak penyelesaian yang sah.

Berapakah bilangan kejadian dalam SWE-bench Lite?

Lite ialah subset 300 contoh yang dipilih untuk menjadi lebih murah dan lebih serba lengkap.