SeterusnyaPanduan seterusnya
Metrik Penilaian RAG dan RAGAS
Teknikal
PANDUAN Teknikal
Pass@k ialah kebarangkalian bahawa sekurang-kurangnya satu daripada k percubaan sampel daripada model menyelesaikan masalah, biasanya diperiksa dengan menjalankan ujian unit tersembunyi pada kod yang dijana.
Dengar panduan iniAI-diceritakan · ~3 min
Ini penting kerana kod dan penanda aras ejen melaporkannya secara berterusan, dan markah lulus@10 atau lulus@100 boleh kelihatan jauh lebih baik daripada apa yang pengguna dapat daripada satu percubaan.
Pass@k berkembang daripada penyelidikan sintesis program, di mana Kulal dan rakan sekerja menggunakannya pada 2019 untuk tugasan pseudokod-ke-kod, dan ia menjadi standard dengan kertas OpenAI 2021 Codex, yang memperkenalkan HumanEval, satu set 164 masalah tulisan tangan ZXZQAI. Untuk setiap masalah model menulis fungsi, dan fungsi itu dikira betul hanya jika ia lulus ujian unit tersembunyi. Pass@k bertanya: jika anda melukis k sampel, apakah peluang sekurang-kurangnya satu lulus? Skor penanda aras ialah kebarangkalian purata ke atas semua masalah. Kaedah naif adalah untuk menjana tepat k sampel setiap masalah dan menyemak sama ada lulus, tetapi anggaran itu sangat bising. Kertas Codex sebaliknya menjana n sampel, di mana n lebih besar daripada k (contohnya 200), mengira c yang betul, dan mengira kebarangkalian subset rawak k sampel mengandungi sekurang-kurangnya satu sampel yang betul: 1 tolak C(n tolak c, k) dibahagikan dengan C(n, k). Penganggar ini tidak berat sebelah dan jauh kurang berubah. Pintasan memasukkan c/n ke 1 tolak (1 tolak p) kepada kuasa k adalah berat sebelah. Suhu pensampelan penting. Pass@1 biasanya terbaik pada suhu rendah, manakala pass@100 mendapat manfaat daripada suhu yang lebih tinggi kerana lebih banyak sampel yang pelbagai meningkatkan peluang bahawa sampel berfungsi. Kertas selalunya memilih suhu yang berbeza untuk setiap k. Penanda aras ejen menambah metrik pelengkap. Kertas bangku tau daripada Sierra (2024) mentakrifkan lulus^k, kebarangkalian bahawa semua k percubaan bebas berjaya. Ia mengukur kebolehpercayaan dan bukannya keupayaan. Salah baca biasa termasuk membandingkan pas@10 satu model dengan pas@1 yang lain, terlupa bahawa pass@k menganggap sesuatu sudah mengetahui sampel yang betul dan menganggap pas@1 penyahkodan tamak sebagai sama dengan pas@1 sampel. Ujian unit yang lemah meningkatkan setiap nombor lulus@k, itulah sebabnya EvalPlus menambah lebih banyak ujian pada HumanEval dan menyaksikan penurunan markah.
Pasukan yang menilai model kod pada sampel HumanEval mengambil 200 penyelesaian setiap masalah, mengira bilangan lulus ujian dan melaporkan lulus@1, lulus@10 dan lulus@100 daripada satu set sampel itu menggunakan penganggar tidak berat sebelah.
Autolengkap editor yang menunjukkan satu cadangan harus dinilai dengan lulus@1, manakala alat yang menjana lima calon dan menjalankan suite ujian anda untuk memilih yang berkesan adalah lebih hampir kepada situasi lulus@5.
Ejen sokongan pelanggan yang berjaya pada 75 peratus percubaan kelihatan kukuh pada pass@k, tetapi jika percubaan adalah bebas, skor lulus^4nya (semua empat percubaan berjaya) hanyalah kira-kira 0.32, yang menunjukkan betapa tidak boleh dipercayainya sepanjang penggunaan berulang.
Sistem pengaturcaraan yang kompetitif menjana banyak program calon, menapisnya terhadap ujian contoh, dan menyerahkan sejumlah kecil; kadar penyelesaian yang dilaporkan bergantung pada bilangan penyerahan yang dibenarkan, iaitu bajet ala pass@k.
Apabila model beralih daripada penyiapan tunggal kepada ejen berbilang langkah, langkah kebolehpercayaan seperti pass^k dan konsistensi run-to-run semakin mendapat perhatian bersama pass@k, kerana pengguna mengalami satu percubaan, bukan yang terbaik daripada kebanyakan. Pengarang penanda aras juga melabur dalam suite ujian yang lebih kukuh, kerana ujian yang lemah membiarkan kod yang salah berlalu dan meningkatkan setiap metrik. Laporan berhati-hati harus menyatakan k, kiraan sampel, suhu dan sama ada sebarang langkah pemilihan telah digunakan, tetapi amalan berbeza-beza, jadi pembaca harus terus menyemak butiran tersebut daripada menganggapnya.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Pass@k ialah kebarangkalian bahawa sekurang-kurangnya satu daripada k percubaan sampel daripada model menyelesaikan masalah, biasanya diperiksa dengan menjalankan ujian unit tersembunyi pada kod yang dijana. Ini penting kerana kod dan penanda aras ejen melaporkannya secara berterusan, dan markah lulus@10 atau lulus@100 boleh kelihatan jauh lebih baik daripada apa yang pengguna dapat daripada satu percubaan.
Pass@k ialah peluang sekurang-kurangnya satu daripada k percubaan berjaya. Skor penanda aras purata kebarangkalian itu ke atas semua masalah.
HumanEval mempunyai 164 masalah Python tulisan tangan, setiap satu disemak oleh ujian unit tersembunyi.
Menjana tepat k sampel memberikan anggaran yang bising. Menggunakan n sampel dan mengira c yang betul membolehkan anggaran tidak berat sebelah dengan lebih sedikit varians.
Ia adalah satu tolak kebarangkalian bahawa subset k rawak mengandungi hanya sampel yang salah. C(c, k)/C(n, k) ialah penganggar pas^k, dan pintasan kuasa-k adalah berat sebelah.
Pass^k memerlukan setiap percubaan untuk berjaya, jadi ia mengukur kebolehpercayaan, yang penting bagi ejen yang melayani ramai pengguna.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Metrik Penilaian RAG dan RAGAS
Teknikal