Kuiz berkaitan panduan · Sederhana Tahap
Berapa Banyak Kes Ujian yang Diperlukan untuk Penilaian Prompt Kuiz
Rancang penilaian prompt berdasarkan keputusan, kesan yang dapat dikesan, variabiliti hasil dan persampelan yang representatif daripada kiraan tetap.
soalan 1 daripada 8
Mengapa tiada saiz sampel tunggal yang sentiasa mencukupi untuk ujian prompt?
Pratonton setiap soalan8 soalan
Jawapan dan penjelasan muncul semasa anda mengambil kuiz.
- Mengapa tiada saiz sampel tunggal yang sentiasa mencukupi untuk ujian prompt?
- Ia bergantung kepada variasi, saiz kesan dan reka bentuk statistik
- Setiap prompt memerlukan tepat 100 contoh
- Ia bergantung hanya pada jumlah parameter model
- Selang keyakinan menghapuskan pemilihan kes
- Apakah yang ditambah oleh selang keyakinan kepada kadar lulus yang diukur?
- Jaminan bahawa versi seterusnya akan lebih baik
- Anggaran ketidakpastian di sekitar kadar yang diukur
- Senarai contoh latihan
- Skor kebenaran untuk setiap jawapan
- Mengapa membandingkan versi pada kes perwakilan yang sama bila boleh?
- Untuk menghilangkan semua rawak output
- Untuk menjadikan setiap kes sama sukar
- Untuk membolehkan perbandingan berpasangan dengan mengambil kira perbezaan pada peringkat kes
- Untuk meningkatkan bilangan kes bebas secara automatik
- Apa yang diukur secara langsung apabila mengulang satu prompt pada satu input?
- Kepelbagaian populasi
- Liputan taburan tugas
- Bilangan kes bebas
- Variasi run-ke-run bagi input tersebut di bawah tetapan itu
- Jika satu pasukan mengumpul terlalu banyak kegagalan keselamatan jarang, apa yang harus dielakkan?
- Menilai kes-kes tersebut secara berasingan
- Menggunakannya untuk menemui mod kegagalan
- Menganggap pecahan kegagalan mentah sebagai prevalensi populasi tanpa penimbang
- Menandakan sampel sebagai sasaran
- Input mana yang menyokong pelan saiz sampel statistik?
- Kiraan perkataan prompt sahaja
- Saiz set latihan model
- Bilangan penilai
- Kesan sasaran, variabiliti hasil, keyakinan/kepentingan dan kuasa yang dikehendaki
- Apakah yang perlu ditakrifkan oleh pasukan sebelum membandingkan prompt?
- Hasil pilot awal yang terbaik
- Hanya prompt yang kelihatan kemas
- Saiz sampel selepas melihat setiap keputusan
- Metrik, rangka sampel, peraturan penilaian dan ambang keputusan
- Dengan penilaian kecil yang mempunyai selang luas, betapa kuatnya kesimpulan yang dibenarkan?
- Prompt terbukti meningkatkan kualiti
- Abaikan selang jika purata lebih tinggi
- Hasilnya tidak pasti dan bukti yang lebih mewakili mungkin diperlukan
- Hantar kerana tiada regresi yang diperhatikan