SeterusnyaPanduan seterusnya
Kuasa Statistik dan Saiz Sampel untuk Eksperimen Model
Teknikal
PANDUAN Teknikal
Saiz sampel dalam penilaian segera ialah bilangan kes ujian yang berkaitan yang digunakan untuk menganggar prestasi atau membandingkan versi segera.
Dengar panduan iniAI-diceritakan · ~3 min
Tiada minimum universal: nombor yang diperlukan bergantung pada kebolehubahan hasil dan perbezaan yang patut dikesan. Satu set yang besar tetapi tidak mewakili masih boleh menghasilkan kesimpulan yang mengelirukan.
Gesaan boleh kelihatan lebih baik pada beberapa contoh secara kebetulan. Rancang daripada keputusan: apakah metrik yang penting, apakah peningkatan terkecil yang akan mewajarkan perubahan, berapa pembolehubah hasil, dan berapa banyak ketidakpastian yang boleh anda terima? Kuasa statistik, tahap keertian, prestasi garis dasar dan reka bentuk pensampelan mempengaruhi bilangan yang diperlukan. Panduan NIST untuk ujian perkadaran menjadikan kebergantungan ini jelas; ia tidak memberikan satu kiraan universal untuk penilaian segera. Untuk hasil lulus/gagal binari, laporkan pengangka, penyebut dan selang keyakinan yang sesuai; Selang Wilson biasanya disyorkan untuk perkadaran. Untuk membandingkan versi, jalankannya pada kes perwakilan yang sama dan analisis hasil berpasangan. Varian berulang bagi satu sumber atau giliran daripada satu perbualan mungkin dikaitkan. Penjanaan model berulang boleh mengukur variasi run-to-run, tetapi tidak menggantikan kepelbagaian dalam input pengguna. Tentukan metrik, bingkai persampelan, strata, peraturan penggredan dan ambang keputusan sebelum ujian. Sertakan bekas biasa dan tepi, dan simpan penahan berasingan jika penalaan meluas. Pensampelan berlebihan kegagalan keselamatan yang jarang berlaku berguna untuk penemuan, tetapi kadar mentah bukan kelaziman melainkan ditimbangkan kepada pengedaran sasaran. Laporkan ketidakpastian dan andaian daripada mendakwa kiraan tetap membuktikan peningkatan. Perkara kemerdekaan: sepuluh parafrasa satu sumber tidak bersamaan dengan sepuluh tugas yang tidak berkaitan. Jika kes berkumpulan mengikut produk, bahasa atau aliran kerja, laporkan kumpulan dan hormati reka bentuk dalam analisis. Pastikan kes ujian berbeza daripada contoh penalaan segera. Kes mungkin berkongsi dokumen, pengguna atau aliran kerja, jadi kira unit pensampelan bebas dan bukannya setiap variasi yang dijana sebagai bukti baharu. Simpan penahan yang berasingan apabila menala berulang kali, dan bezakan larian model berulang daripada liputan tugas tambahan.
Choose the smallest useful improvement before planning how many cases to test.
Run both versions on the same cases and record paired wins, losses and ties.
Report uncertainty alongside a pass rate, especially with a small set.
Add rare or high-severity tests for discovery but separate them from prevalence estimates.
Tools may automate power calculations and paired analysis, but results still depend on realistic assumptions about case distribution, grading reliability and effect size. Combine statistical summaries with error analysis and targeted safety tests. More data cannot repair a biased sample or invalid grader. Evaluation platforms may ease collection of large suites, but volume cannot replace a sound sampling frame. Future tools may improve paired and stratified reports. Explain what population the cases represent and which inputs were not sampled. Evaluation platforms may automate calculations, but sample design and grader validity remain the team’s responsibility. Publish the sampling frame, pairing or clustering, metric and uncertainty so readers can tell what the estimate does and does not represent.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Saiz sampel dalam penilaian segera ialah bilangan kes ujian yang berkaitan yang digunakan untuk menganggar prestasi atau membandingkan versi segera. Tiada minimum universal: nombor yang diperlukan bergantung pada kebolehubahan hasil dan perbezaan yang patut dikesan. Satu set yang besar tetapi tidak mewakili masih boleh menghasilkan kesimpulan yang mengelirukan.
Required sample changes with target difference, outcome variability and inference goals.
An interval communicates uncertainty in the estimated proportion.
Repeated runs show variation for that input, not new input coverage.
A targeted sample is valuable but not automatically representative.
These design choices determine precision or power requirements.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Kuasa Statistik dan Saiz Sampel untuk Eksperimen Model
Teknikal