Kuiz berkaitan panduan · Sederhana Tahap

Kuiz Penalaan Awalan

Menilai pendekatan tulang belakang beku penalaan awalan, penjimatan parameter setiap tugas, peletakan lapisan perhatian dan hasil pada tugas penjanaan bahasa semula jadi.

Laluan panduan yang berkaitanPenalaan Awalan
soalan 1 daripada 8

Apakah yang sebenarnya dilatih oleh penalaan awalan?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah yang sebenarnya dilatih oleh penalaan awalan?
    • Semua berat pengubah model
    • Hanya lapisan perbendaharaan kata keluaran model
    • Salinan berasingan model untuk setiap tugas
    • Satu set kecil vektor awalan berterusan sementara model kekal beku
  2. Di manakah vektor awalan disuntik?
    • Ke dalam kunci dan nilai pada setiap lapisan perhatian
    • Hanya pada lapisan keluaran akhir
    • Ke dalam fungsi kerugian sahaja
    • Ke dalam tokenizer sebelum dibenamkan
  3. Siapa yang memperkenalkan penalaan awalan dan kira-kira bila?
    • OpenAI pada 2018
    • Li dan Liang di Stanford pada 2021
    • Google pada tahun 2015
    • Meta pada tahun 2023
  4. Mengapakah penalaan awalan menarik untuk melaksanakan banyak tugas?
    • Ia tidak memerlukan data latihan sama sekali
    • Ia menjadikan inferens dijalankan pada tiada perkakasan
    • Setiap tugas hanya memerlukan awalan kecil dan bukannya salinan model penuh
    • Ia secara kekal menulis semula model asas untuk semua tugas sekaligus
  5. Apakah helah yang sering digunakan untuk menstabilkan latihan awalan?
    • Menggandakan kadar pembelajaran setiap langkah
    • Membekukan awalan dan melatih model
    • Mengalih keluar semua lapisan perhatian
    • Menyusun semula awalan melalui rangkaian suapan ke hadapan yang kecil yang kemudiannya dibuang
  6. Pada jenis tugas manakah penalaan awalan terserlah?
    • Penjanaan bahasa semula jadi seperti jadual ke teks dan ringkasan
    • Klasifikasi imej
    • Sintesis bentuk gelombang audio
    • Pengindeksan pangkalan data
  7. What proportion of model parameters did the original prefix-tuning paper report learning in its experiments?
    • About 10%
    • About 0.1%
    • Kira-kira 50%
    • All model parameters
  8. How did prefix-tuning perform in the paper’s low-data settings?
    • It always matched full fine-tuning on every task
    • It could not train with limited examples
    • It outperformed full fine-tuning in some evaluated low-data cases
    • It changed every backbone parameter