Kuiz berkaitan panduan · Sederhana Tahap

Kuiz Pencemaran Penanda Aras

Menguji cara item penanda aras bocor ke dalam data latihan, kaedah pengesanan seperti pertindihan n-gram dan Min-K% Prob, dan pengurangan seperti kenari dan pembahagian masa.

Laluan panduan yang berkaitanPencemaran Penanda Aras
soalan 1 daripada 8

Apakah pencemaran penanda aras?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah pencemaran penanda aras?
    • Apabila tanda aras mengandungi kunci jawapan yang salah
    • Apabila model diuji pada terlalu sedikit soalan
    • Apabila item ujian penanda aras atau jawapannya muncul dalam data latihan model
    • Apabila dua penanda aras mengukur kemahiran yang sama
  2. Apakah tujuan rentetan kenari dimasukkan dalam tugas BIG-bench?
    • Untuk membenarkan pasukan data menapis dokumen tersebut daripada data latihan dan menguji sama ada model melihatnya
    • Untuk menyulitkan jawapan
    • Untuk menandakan tugas mana yang paling sukar
    • Untuk mengenal pasti model mana yang menghasilkan setiap jawapan
  3. Apakah yang dicadangkan oleh kajian GSM1k?
    • Semua model mendapat markah lebih tinggi pada masalah baharu
    • GSM8K tidak mempunyai ralat
    • Pencemaran tidak boleh diukur tanpa data latihan
    • Sesetengah model mendapat markah yang ketara lebih rendah pada masalah segar dan sepadan berbanding GSM8K
  4. Apakah analisis pertindihan yang dijalankan oleh kertas GPT-3?
    • Membenamkan persamaan pada dokumen penuh
    • Pertindihan 13 gram antara tanda aras dan data latihan
    • Semakan manusia setiap dokumen latihan
    • Min-K% Prob pada setiap penanda aras
  5. Apakah idea teras Min-K% Prob?
    • Mengalih keluar peratus k perkataan paling kurang biasa daripada data latihan
    • Melatih model kedua untuk mengklasifikasikan teks yang tercemar
    • Teks yang dilihat model cenderung mempunyai beberapa token berkemungkinan sangat rendah
    • Mengukur panjang jawapan model
  6. Bagaimanakah pembahagian berasaskan masa, seperti dalam LiveCodeBench, membantu mengesan pencemaran?
    • Ia membandingkan prestasi pada masalah yang diterbitkan sebelum dan selepas pemotongan latihan model
    • Ia mengukur berapa lama model mengambil masa untuk menjawab
    • Ia membahagikan model kepada lapisan yang lebih lama dan lebih baru
    • Ia hanya mengira masalah yang dijawab dalam had masa
  7. Mengapakah tiada pertindihan yang tepat tidak membuktikan penanda aras itu bersih?
    • Padanan tepat terlalu lambat untuk dijalankan
    • Penanda aras mengubah jawapan mereka dari semasa ke semasa
    • Model tidak pernah menghafal teks yang tepat
    • Salinan yang diparafrasa atau diterjemahkan boleh melepasi padanan rentetan
  8. Dalam dekontaminasi n-gram, apakah yang berlaku jika n dipilih terlalu kecil?
    • Hampir salinan dengan suntingan kecil terlepas
    • Banyak positif palsu daripada frasa biasa dibenderakan
    • Penapis berhenti berfungsi sepenuhnya
    • Hanya jawapan, bukan soalan, dipadankan