Kuiz berkaitan panduan · Sederhana Tahap
Kuiz Pencemaran Penanda Aras
Menguji cara item penanda aras bocor ke dalam data latihan, kaedah pengesanan seperti pertindihan n-gram dan Min-K% Prob, dan pengurangan seperti kenari dan pembahagian masa.
soalan 1 daripada 8
Apakah pencemaran penanda aras?
Pratonton setiap soalan8 soalan
Jawapan dan penjelasan muncul semasa anda mengambil kuiz.
- Apakah pencemaran penanda aras?
- Apabila tanda aras mengandungi kunci jawapan yang salah
- Apabila model diuji pada terlalu sedikit soalan
- Apabila item ujian penanda aras atau jawapannya muncul dalam data latihan model
- Apabila dua penanda aras mengukur kemahiran yang sama
- Apakah tujuan rentetan kenari dimasukkan dalam tugas BIG-bench?
- Untuk membenarkan pasukan data menapis dokumen tersebut daripada data latihan dan menguji sama ada model melihatnya
- Untuk menyulitkan jawapan
- Untuk menandakan tugas mana yang paling sukar
- Untuk mengenal pasti model mana yang menghasilkan setiap jawapan
- Apakah yang dicadangkan oleh kajian GSM1k?
- Semua model mendapat markah lebih tinggi pada masalah baharu
- GSM8K tidak mempunyai ralat
- Pencemaran tidak boleh diukur tanpa data latihan
- Sesetengah model mendapat markah yang ketara lebih rendah pada masalah segar dan sepadan berbanding GSM8K
- Apakah analisis pertindihan yang dijalankan oleh kertas GPT-3?
- Membenamkan persamaan pada dokumen penuh
- Pertindihan 13 gram antara tanda aras dan data latihan
- Semakan manusia setiap dokumen latihan
- Min-K% Prob pada setiap penanda aras
- Apakah idea teras Min-K% Prob?
- Mengalih keluar peratus k perkataan paling kurang biasa daripada data latihan
- Melatih model kedua untuk mengklasifikasikan teks yang tercemar
- Teks yang dilihat model cenderung mempunyai beberapa token berkemungkinan sangat rendah
- Mengukur panjang jawapan model
- Bagaimanakah pembahagian berasaskan masa, seperti dalam LiveCodeBench, membantu mengesan pencemaran?
- Ia membandingkan prestasi pada masalah yang diterbitkan sebelum dan selepas pemotongan latihan model
- Ia mengukur berapa lama model mengambil masa untuk menjawab
- Ia membahagikan model kepada lapisan yang lebih lama dan lebih baru
- Ia hanya mengira masalah yang dijawab dalam had masa
- Mengapakah tiada pertindihan yang tepat tidak membuktikan penanda aras itu bersih?
- Padanan tepat terlalu lambat untuk dijalankan
- Penanda aras mengubah jawapan mereka dari semasa ke semasa
- Model tidak pernah menghafal teks yang tepat
- Salinan yang diparafrasa atau diterjemahkan boleh melepasi padanan rentetan
- Dalam dekontaminasi n-gram, apakah yang berlaku jika n dipilih terlalu kecil?
- Hampir salinan dengan suntingan kecil terlepas
- Banyak positif palsu daripada frasa biasa dibenderakan
- Penapis berhenti berfungsi sepenuhnya
- Hanya jawapan, bukan soalan, dipadankan