Kuis terkait panduan · Sedang Tingkat

Kuis Penyetelan Awalan

Menilai pendekatan tulang punggung beku penyetelan awalan, penghematan parameter per tugas, penempatan lapisan perhatian, dan hasil pada tugas pembuatan bahasa alami.

Jalur panduan terkaitPenyetelan Awalan
Pertanyaan 1 dari 8

Apa yang sebenarnya dilatih oleh penyetelan awalan?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Apa yang sebenarnya dilatih oleh penyetelan awalan?
    • Semua bobot trafo model
    • Hanya lapisan kosakata keluaran model
    • Salinan model terpisah untuk setiap tugas
    • Sekumpulan kecil vektor awalan kontinu sementara model tetap dibekukan
  2. Di mana vektor awalan disuntikkan?
    • Ke dalam kunci dan nilai di setiap lapisan perhatian
    • Hanya pada lapisan keluaran akhir
    • Ke dalam fungsi kerugian saja
    • Ke dalam tokenizer sebelum menyematkan
  3. Siapa yang memperkenalkan penyetelan awalan dan kira-kira kapan?
    • OpenAI pada tahun 2018
    • Li dan Liang di Stanford pada tahun 2021
    • Google pada tahun 2015
    • Meta pada tahun 2023
  4. Mengapa penyetelan awalan menarik untuk melakukan banyak tugas?
    • Itu tidak memerlukan data pelatihan sama sekali
    • Itu membuat inferensi berjalan tanpa perangkat keras
    • Setiap tugas hanya memerlukan awalan kecil, bukan salinan model lengkap
    • Ini secara permanen menulis ulang model dasar untuk semua tugas sekaligus
  5. Trik apa yang sering digunakan untuk menstabilkan pelatihan awalan?
    • Menggandakan kecepatan pembelajaran di setiap langkah
    • Membekukan awalan dan melatih model
    • Menghapus semua lapisan perhatian
    • Memparameterisasi ulang awalan melalui jaringan feed-forward kecil yang kemudian dibuang
  6. Pada jenis tugas apa penyetelan awalan sangat menonjol?
    • Pembuatan bahasa alami seperti tabel-ke-teks dan ringkasan
    • Klasifikasi gambar
    • Sintesis bentuk gelombang audio
    • Pengindeksan basis data
  7. What proportion of model parameters did the original prefix-tuning paper report learning in its experiments?
    • About 10%
    • About 0.1%
    • Sekitar 50%
    • All model parameters
  8. How did prefix-tuning perform in the paper’s low-data settings?
    • It always matched full fine-tuning on every task
    • It could not train with limited examples
    • It outperformed full fine-tuning in some evaluated low-data cases
    • It changed every backbone parameter